開源模型追平閉源,蒸餾指控站不住腳
K3 與 Fable 發布只隔約 15 天,蒸餾在時間上根本來不及;真正讓閉源實驗室焦慮的是模型從壟斷品變成流通商品,估值體系要重算。
原視頻在 YouTube 上放不出來,用音頻聽:
核心論點 · 點時間戳可跳到原聲
開源追平閉源,護城河一夜消失
鐵震復盤了硅谷心態的三段變化:DeepSeek R1 時大家以為開源已經逼近前沿,結果過了一年發現是「狼來了」,閉源月更、開源季更,Opus 4.6/4.7/4.8 遠遠領先。轉折點是 GLM 5.2,他自己已經用它取代了 Opus 4.8 的部分功能,但硅谷仍覺得只要閉源領先一個世代就不用擔心。直到 K3 出來,不是跟 Opus 平級,而是基本追上 Fable、某些場景還更好,閉源模型瞬間發現自己沒有護城河了,於是 FOMO 和估值泡沫的擔心一起爆發。
— 王鐵震十五天時間差,蒸餾指控不成立
針對「K3 是不是蒸餾了 Fable」,鐵震給了一個時間論證:Fable 和 K3 用戶實際能用的發布之間只隔大概 15 天,十多天連模型發布的準備都來不及,更談不上收集足夠語料並完成蒸餾。Keith 進一步拆開指控:第一層是有些實驗室可能未經授權大規模調用前沿模型 API 提取訓練信號,這類自動化請求可以被檢測系統抓到;第二層說 K3 靠蒸餾 Fable 拿到能力,證據非常薄弱。就算存在第一層行為,也不代表核心能力來自蒸餾。
— 王鐵震蒸餾是中性詞,被用成了貶義詞
鐵震先做技術澄清:經典蒸餾是讓小模型去學大模型輸出的 logits 概率分布,但閉源模型只給你採樣出來的詞,你無法反推分布,所以用經典蒸餾根本學不到 Fable。現在大家說的蒸餾其實是用閉源模型生成的文本來訓練,這就有爭議了。他打了個比方:閉源模型拿全人類數據學完,輸出之後卻不許別人用來訓練下一個模型,相當於有人讀了書、寫了創作,卻跟所有人說你不許讀我寫的東西。而且閉源模型不暴露思維鏈,只看結果很難學會行為,所以閉源模型蒸餾開源模型容易,反過來極難。
— 王鐵震K3 License 把搭便車堵死了
K3 用單獨的 Kimi K3 License:如果一家公司賣的是模型,且公司及關聯方連續 12 個月總收入超過 2000 萬美元,或把 K3 及衍生模型用於商業服務,需要另籤協議;嵌入具體產品功能的終端應用不算在內。鐵震認為這是 license 層面的進步:Llama 當年也有類似限制但執行不清,Kimi 把可執行內容寫清楚了,專門做推理和雲廠商沒法再搭便車。他還提出一個反常識判斷——雲廠和 MaaS 廠其實歡迎 Kimi 來收錢,因為付費意味著拿到官方認證,賣出的 token 在準確性和性能上有保障,沒過認證的 token 客戶不願買。
— 王鐵震壟斷智能比壟斷商品更值錢,也更脆弱
Keith 認為第一波衝擊落在估值體系。開源追平 Fable 之前,閉源模型本身被視為稀缺、值得溢價甚至壟斷性的東西,所以天然值得萬億市值;一旦很多家都能訓練模型,非常聰明的模型就變成流通商品、被平民化,甚至成為社會基礎服務,那 OpenAI 和 Anthropic 值多少錢就要打問號。第二個衝擊是業務:如果美國所有 new cloud 都變成它們的競爭對手,交一點授權費仍比把數據中心低價賣給 Anthropic 賺錢,new cloud 之間互相卷價格,閉源實驗室可能被動陷入價格戰。他還觀察到 Anthropic 封號沒那麼瘋狂、ChatGPT 開始發重置券,這些都會反映到財報和競爭裡。
— Keith Zhai英偉達支持開源,因為賣鏟子不在乎誰挖到金子
7 月 24 日那份《開放權重和美國 AI 領導力》公開信,最初約 25 家公司和個人機構簽署,幾天後達到 75 家,Anthropic 一直沒簽。Keith 指出商業邏輯根本對立:開源模型每次開放都會衝擊賣 API 的閉源廠商,而英偉達從芯片和基礎設施角度,希望每個人都能自由搭建最好的系統,這樣能賣出更多鏟子,它並不在乎誰能挖到金子。鐵震補充,英偉達從 CUDA 時代就靠開源生態建立壁壘,Caffe、TensorFlow、PyTorch 都搭在它的硬件上,AMD 想進來要一個個去談集成,所謂 CUDA 護城河相當一部分是圍繞它的開源生態造成的。
— Keith ZhaiOpenRouter 的估值是被中國開源模型抬起來的
被問到 OpenRouter 這類多模型平臺是不是這波才火,Keith 說它們此前壓力很大,因為市場敘事是要用最好的模型,而最好的模型是閉源的,它們的優勢很少。過去幾個月,OpenRouter 在內的一批公司 ARR 和估值翻倍快速增長,核心就是利用了中國為主的開源模型這一大批供給。鐵震用 IBM 兼容機和蘋果一體機作類比:行業早期每個人做自己最擅長的事,做模型的做模型、做推理的做推理、做企業服務的做企業服務,各自做最高效的決策和最快的迭代,比傳統中國互聯網從頭做到尾、靠流量扶持和封禁內容打敗對手要好得多。
— Keith ZhaiK3 攻擊性得分低,安全爭論被簡化了
回應「接近前沿能力的模型該不該開放權重」,鐵震引了 Exploit Bench 網絡攻防測試:K3 得分只有 30% 幾,遠低於前沿模型 75% 以上。他提出兩種解釋,一種可能是蒸餾帶來的能力限制,另一種可能是它沒有把最強的攻擊性網絡能力開放出來。他強調要區分兩個問題:開源模型本身安不安全,和 K3 具體有沒有已知安全問題;K3 目前沒有看到任何有證據的已知安全問題。他還說智能和安全不是一回事,可以有人像愛因斯坦一樣聰明但不知道怎麼黑 NASA 網站,也可能一個 18 歲高中生就能黑進去。
— 王鐵震閉源模型又當運動員又當裁判
鐵震講了 Hugging Face 被 OpenAI 一個測試智能體不小心攻擊的例子:智能體覺得直接抄答案比摸索好,就順手黑了別人的網站拿答案。Hugging Face 想用模型分析攻擊過程,閉源模型卻說這事不安全、不能幫你分析網絡安全語料,它只能轉向開源模型做輔助分析。鐵震由此質疑:為什麼把網絡安全這麼重要的話題交給兩家最前沿的模型公司評判,讓它們既評價別人安不安全,又能有意無意放自己的 agent 出去攻擊別人。他還提到有日本大公司高管說 Fable 不能用帶來的真正衝擊不是功能本身,而是原來這個東西是不安全的、隨時可能被封號或調整權限。
— 王鐵震原話 · 已逐字校驗
結果過了一年 大家發現是一個狼來了的故事 因為過去一年的開源和閉源模型 性能的分化實際上是非常大的 閉源模型可能能做到月更 開源模型可能是季更
結果過了一年,大家發現是一個狼來了的故事,因為過去一年開源和閉源模型的性能分化實際上非常大,閉源模型可能做到月更,開源模型可能是季更。
王鐵震4:01
我個人傾向於是沒有的 因為你十多天連模型發布的準備 都來不及 你何談說收集到足夠多的語料 並且蒸餾Fable
我個人傾向於沒有,因為你十多天連模型發布的準備都來不及,何談收集到足夠多的語料並且蒸餾 Fable。
王鐵震5:01
閉源模型可以拿 所有人類的數據去學習 然後學完的東西 在被閉源模型輸出之後 不能被別人用來做下一個模型 這不是很可笑嗎
閉源模型可以拿所有人類的數據去學習,學完的東西在被閉源模型輸出之後,不能被別人用來做下一個模型,這不是很可笑嗎。
王鐵震15:10
蒸餾可以讓你很快地 去達到一個及格線 而像Kimi K3 它其實已經遠遠超過及格線了
蒸餾可以讓你很快達到一個及格線,而像 Kimi K3,它其實已經遠遠超過及格線了。
王鐵震20:11
所以它壟斷智能這個事情 實際上是比壟斷任何商品威力 要恐怖得多得多 所以它天然就值得萬億的市值
所以它壟斷智能這個事情,實際上比壟斷任何商品威力要恐怖得多得多,所以它天然就值得萬億的市值。
Keith Zhai35:18
因為他並不在乎誰能挖到金子 而對於模型廠商 其實核心就是保住自己的護城河
因為他並不在乎誰能挖到金子,而對於模型廠商,其實核心就是保住自己的護城河。
Keith Zhai38:20
不管怎麼看 沒有開源 反而是這個時代最不安全的事情
不管怎麼看,沒有開源,反而是這個時代最不安全的事情。
王鐵震1:02:32
數字與實體
| K3 與 Fable 可用發布間隔 | 約 15 天 | 5:01 |
| K3 擴展效率相對 K2 提升 | 2.5 倍 | 11:07 |
| K3 模型規模 | 不到 3T | 12:07 |
| Fable 模型本體規模(傳言) | 8 到 10T | 12:07 |
| 開放權重公開信簽署方數量 | 從約 25 家增至 75 家 | 37:39 |
| K3 在 Exploit Bench 得分 | 30% 幾 | 55:40 |
| 前沿模型在 Exploit Bench 得分 | 75% 以上 | 55:40 |
| 單位智能成本過去幾年下降 | 約一千倍 | 54:28 |
| 未來三年單位智能成本預期再降 | 約一千倍 | 54:28 |
術語
- logits邏輯值
- 模型在每個位置對每個 token 輸出的概率分布,經典蒸餾就是讓小模型學這個分布。
- scaling efficiency擴展效率
- 做 scaling 時能否同時把成本降下來,中國開源模型一直在卷這個指標。
- KV cache鍵值緩存
- 推理時緩存已計算的鍵值對,長輸入短輸出的 agent 負載裡重用率很高。
- harness腳手架
- 包裹模型的工程層,控制與模型通訊的接口和 KV cache 生命週期。
- Exploit Bench網絡攻防測試基準
- 衡量模型攻擊性網絡能力的權威測試,K3 得分明顯低於前沿模型。
收聽指南
關注中國開源模型商業化、閉源實驗室估值邏輯的創業者和投資人;想判斷蒸餾指控是否成立、開源 license 能否收上錢的工程師。
1:04:01 之後關於開源閉源誰更容易被濫用的部分,與前文安全討論重複度較高。