美國AI創業公司私下都在用中國開源模型,只是不敢公開說
真正的護城河不是選哪個基礎模型,而是能不能用自己的數據把開源權重微調成比巨頭單次調用更便宜、更準的專用模型。
原視頻在 YouTube 上放不出來,用音頻聽:
核心論點 · 點時間戳可跳到原聲
建產品用閉源旗艦,跑業務用開源微調
Minerva 的做法是:開發階段用 Claude、Astra 等前沿閉源模型,因為開發者的時間比 token 貴,不想在循環和報錯上浪費工時;但一旦某個任務變得可重複、只需達到「客戶滿意」的完成標準,就切換到成本邏輯完全不同的框架——不再看每百萬 token 的價格,而是看「每個完成任務的成本」,這時候開源模型就成了主力。這意味著閉源和開源不是互相替代,而是分別服務於兩個不同階段的經濟學。
— Daniel Saidi開源權重本身不值錢,能微調才值錢
Daniel 認為應用層公司現在從開源權重裡拿到的真正好處是「微調」,而不是模型本身的性能。原因是實驗室靠的是買來的海量數據,創業公司不可能複製那種數據規模,只能靠自己積累的幾千條客戶數據去微調一個通用模型,讓它在具體任務上專精。他舉例:原本用 OpenAI 模型把用戶的自然語言請求轉成 SQL 查詢,又慢又貴;換成微調後的 Quen,速度更快、結果更準,公司因此獲得了「很小的優勢」——這正是像 Harvey、Cognition 這類應用層公司用自家數據微調 Kimi 之類模型、從而建立差異化的邏輯。
— Daniel Saidi選開源的三個理由,成本只是第一個
Daniel 把企業選擇開源模型的動機按重要性排序:第一是成本,要算清楚前期和運營支出是否低於付給 OpenAI、Anthropic 的賬單;第二是數據主權和控制——企業把數據傳給閉源模型的 API,換回答案,但模型不會因為你的用例而變得更好,自己微調則能讓模型隨數據持續進步;第三是議價權,一旦你手裡有「自家訓練的模型」這張牌,就能逼閉源廠商按價值定價,而不是你被單一供應商鎖死。
— Daniel Saidi微調的門檻已經崩塌,但數據壁壘沒有
一年前想微調並自託管一個模型,需要一整個推理工程師團隊;現在通過 Fireworks、Modal 這類服務,輸入輸出大約每百萬 token 7 到 9 美元就能完成微調,有人甚至只花 90 美元就跑出了不錯的最終訓練結果。Daniel 提到 Harvey 為打造法律領域的 Tenant 模型花了約 600 萬美元算力成本,而現在做類似事情的成本「相差兩三個數量級」。但他強調:真正沒有被商品化的是數據和評估體系的質量,這才是好微調和差微調之間的分水嶺,也是 Mercor、Surge 這類數據公司能向實驗室收取鉅額費用的原因。
— Daniel Saidi開源模型真正的風險不是數據洩露,是「去勢模型」
Daniel 在準備這期節目時玩了被人關掉「拒絕」神經元的 DeepSeek 版本,也就是所謂的「obliterated model」(被去勢的模型)。它的能力接近今年二月的 Astra 水平,但運行成本只是 Fable 的大約百分之一。他指出:實驗室真正擔心的從來不是「中國拿走了你的數據」,而是任何人只要改幾個參數,就能擁有成千上萬個能力接近 PhD 水平、毫無底線的「黑客分身」在雲端同時運行——這是當前正在發生的真實安全風險,而他也坦承目前沒有看到令人信服的政策解法。
— Daniel Saidi蒸餾確實存在,但不是中國模型好的唯一原因
面對「中國開源模型是不是靠偷偷調用 Claude 蒸餾出來的」這個質疑,Daniel 舉了反例:Reflection AI 是一家擁有英偉達投資、上萬塊 Blackwell GPU、嚴格遵守服務條款的美國開源模型公司,但它剛發布的旗艦模型仍然比中國開源模型落後三到六個月。這說明即便你有算力和人才、又不違規蒸餾,也追不上中國實驗室的速度,側面證明蒸餾不是全部原因——中國實驗室在稀疏模型架構、推理框架開源等方面確實做出了被前沿實驗室採納的真實創新。
— Daniel Saidi判斷模型是否追上前沿,別看跑分,看能不能當「日常駕駛」
Daniel 認為跑分現在幾乎沒有意義——看到某個模型在某個基準上分數更高,並不能告訴你它在真實業務裡是否更好。他給出的檢驗標準是:能不能直接把 Kimi 換進你現有的編程或客服流程裡,性能是否真的持平。他半開玩笑地說,判斷標準就是「我對著終端罵髒話的頻率有沒有下降」——如果沒有,就說明還沒追上。
— Daniel Saidi每個「AI原生」員工大約需要一塊頂級GPU的算力
面對「算力到底夠不夠」的爭論,Daniel 給出一個第一性原理的估算:美國目前部署的頂級 Blackwell GPU 大約五百萬到一千萬塊,而知識工作者大約一億人。如果未來每個知識工作者都要配一個全天候運行的智能體,所需算力會遠遠超過現在的部署規模——這也是為什麼馬斯克和黃仁勳在白宮領獎時,據傳格雷格·布羅克曼當場找馬斯克談算力置換的原因:連實驗室自己都長期缺算力。
— Daniel Saidi原話 · 已逐字校驗
The main difference is open source means that you're disclosing all of the code, all of the data, the exact recipe that was used to train a model. And that's not what the Chinese labs are doing. What they're doing is they're releasing the weights of the model.
主要區別在於,開源意味著公開全部代碼、全部數據、訓練模型的精確配方,而中國實驗室做的不是這個。他們做的是發布模型的權重。
Daniel Saidi7:14
I think the most important thing is cost. And what you have to do as a business is essentially do the calculation of I have to pay some upfront costs and then some operating costs. And is that cheaper than paying OpenAI and Anthropic?
我認為最重要的是成本。作為企業你要做的計算是:我要付一些前期成本和運營成本,這比付給 OpenAI 和 Anthropic 便宜嗎?
Daniel Saidi12:20
Harvey on their tenant model spent about $ 6 million in compute to get to the absolute frontier of legal tasks. You compare that to how much it costs probably to run the new Fable model. And we're off by, you know, two, three orders of magnitude.
Harvey 為了讓 Tenant 模型達到法律任務的絕對前沿水平,花了大約600萬美元的算力。你拿這個和運行新版 Fable 模型的成本比一下,差了兩三個數量級。
Daniel Saidi18:39
And you can tell it to do anything. And so if you see all these hacks that are going on right now, the theory on the internet is people are running swarms of these deep-seek obliterated models.
你可以讓它做任何事。所以如果你看到現在正在發生的這些黑客攻擊,網上的說法是,有人在用成群的這種被去勢的 DeepSeek 模型。
Daniel Saidi24:45
What that basically tells you is the distillation is not the pure reason that the Chinese labs are where they are. They have lots of evidence of coming up with very novel techniques.
這基本說明,蒸餾並不是中國實驗室達到現在這個水平的唯一原因。有大量證據表明他們確實提出了非常新穎的技術。
Daniel Saidi28:48
But if I can take Kimmy 3.2 and start replacing it as my daily driver in how I'm coding, okay, now I know that things have caught up. And how do I know that it's replaced? Am I yelling expletives into the terminal anymore? If I'm not, probably not.
但如果我能把 Kimi 3.2 換進我日常編程的流程裡當作主力模型,那我就知道它真的追上來了。我怎麼知道換成功了?看我是不是還在對著終端罵髒話。如果不罵了,那大概就是追上了。
Daniel Saidi32:51
a fully kind of like AI native employee should have about a GPU's worth of token consumption per year.
一個完全「AI 原生」的員工,每年大約需要消耗相當於一整塊 GPU 算力的 token 用量。
Daniel Saidi38:56
A lot of them will talk about like Quinn and Kimmy, but not in public.
他們很多人私下裡會聊 Quen 和 Kimi,但不會公開說。
Joe Weisenthal42:02
數字與實體
| Harvey Tenant 模型算力成本 | 約600萬美元 | 18:39 |
| Fireworks 微調價格 | 每百萬輸入/輸出 token 約7-9美元 | 17:39 |
| 最便宜微調案例成本 | 最終訓練跑約90美元 | 17:39 |
| 相對 Sonnet 成本倍數 | 便宜約10倍 | 24:45 |
| 相對 Fable 成本倍數 | 約為其1/100 | 24:45 |
| 美國知識工作者人數估算 | 約1億人 | 38:56 |
術語
- open weight開放權重
- 只公開模型最終參數,不公開訓練代碼、數據和方法,區別於完全開源。
- obliterated model被去勢的模型
- 通過關閉模型內部「拒絕回答」相關參數,製造出無底線、有求必應的版本。
- RL environment強化學習環境
- 模擬真實任務場景,供AI在其中反覆試錯訓練的仿真系統。
收聽指南
正在決定自研產品該用閉源旗艦模型還是開源權重模型微調的創業者、工程負責人,以及關注AI基礎設施成本結構的投資人。
46:09之後關於模型自我迭代權重、AGI猜想的收尾閒聊偏離主題,可以跳過。