大廠做不出最好的模型:不是技術問題,是賬本問題
驍騰認為大廠的問題不是缺卡缺錢,而是財務賬單逼著管理層把實驗室產出做轉化,這種向心力讓突破性創新很難發生在大廠內部,但它們仍能靠置換算力穩賺錢。
原視頻在 YouTube 上放不出來,用音頻聽:
核心論點 · 點時間戳可跳到原聲
90分就該跳出去探索新事
驍騰把這套哲學直接歸因於強化學習裡exploration與exploitation的平衡:哪怕只是10%看似低效的隨機探索,也是逼近全局最優解的必要代價,一味把當前事情摳到極致反而容易困在局部最優。他承認創業需要有人把事情補到100分,所以才找了另外兩位聯合創始人來做這部分工作,自己專注於探索。
— 驍騰國模短期悲觀,長期樂觀
他判斷中美差距近期會因OpenAI、Anthropic更早布局數據與大規模RL而被重新拉開,速度會慢下來。但長期樂觀有兩個支點:國產算力明年會變得「能用」,以及中國組織數據、做數據operation的能力強於美國,甚至美國大廠很多數據清洗工作本身就是中國人在做。真正危險的是如果OpenAI在長鏈推理範式(比如一週級別推理、菲爾茲獎級證明)上實現突破且沒被追上。
— 驍騰大廠大概率集體輸掉模型競賽
他用騰訊混元舉例:順利團隊拿到了極大的權限和資源,本身技術不落後,但集團最終要看賬單是不是ROI最高,這決定了實驗室產出要不要被轉化、要不要被重新分配資源。他引用一篇文章《The Cost of Staying》,認為大廠環境天然有一種向心力,使其難以做出突破性創新。但這不代表大廠商業上會輸——它們可以靠算力換股權或銷售,從創業公司身上掙到錢。
— 驍騰DeepSeek靠Infra便宜換數據量
他銳評幾家國模:DeepSeek在Infra和模型codesign上投入最徹底,比如MLA從四路減到一路、encoder-decoder分離的設計,換來極低的訓練和推理成本,從而能喂更多數據、撐更多RL訓練;GLM務實,數據生產線是幾家裡最完善的;Kimi偏愛創新、比較fancy;Mimax則「信仰不夠堅定」——曾靠Linear Attention做出差異化卻自己放棄回到傳統結構,又過早追求營收和上市,打亂了模型迭代的節奏。
— 驍騰Researcher都在拿錘子找釘子
他批評很多打著NewLab旗號的團隊本末倒置:先造出世界模型、diffusion、RSI這類炫酷技術,再去找能用上它的場景,這就是拿錘子找釘子。真正該走的順序是先做一個產品原型推向市場,不急於規模化增長,而是收集真實數據,再回頭判斷需要發明什麼新的research方向。判斷一個NewLab靠不靠譜,要看它有沒有真正嘗試過商業化閉環。
— 驍騰中間層公司遲早都要自建模型
他觀察到美國無論做數據還是做infra的中間層公司,最後幾乎都走向自建模型、自買算力,原因是模型本身是體驗差異最大的部分,剩下的前端和harness都不重要——他打比方說歷史上人們記得住名劍,卻沒人記得住劍鞘,harness就是那個劍鞘。相比之下,國內很多本該適合做這類服務的人,觀念還沒轉過來,對接受外部RL服務的意識不夠。
— 驍騰LoRA人格說:基因差千分之五
從算力受限(當時只有四臺H800)被迫走LoRA路線,到被Thinking Machines的論文印證LoRA在很多場景效果等同全量訓練後,Mind Lab把策略拆成scale up(底座做大)、scale down(每個LoRA做小做快)、scale out(併發跑海量LoRA)。他用人類基因類比:人與人基因差異不到千分之五,卻造就完全不同的行為;LoRA之於base model也是這個邏輯,四月已做到在一個base model上併發推理一百萬個LoRA。
— 驍騰模型缺的是存放taste的地方
他認為當前訓練範式最大的缺口不是算法而是存儲:AI一天能看300多篇論文,遠超人類閱讀速度,但模型無法把「讀完300篇論文後形成的判斷力」壓縮存下來、持續迭代,只能原地重複。他認為真正的continual learning需要一個輕量、可迭代的單元去存這種taste,這也是Ilya目前在關注的方向之一。
— 驍騰原話 · 已逐字校驗
我覺得所有的researcher都在犯一個致命的問題 就是大家是非常善於造錘子的 都是喜歡拿錘子去找它的釘子
我覺得所有researcher都在犯一個致命的問題,就是大家非常善於造錘子,都喜歡拿著錘子去找釘子。
驍騰37:40
就是其實AI很簡單 對吧 就是data 然後model 只是可能你training的 這個有一些detail是不一樣的
其實AI很簡單,對吧,就是data然後model,只是training的細節不太一樣。
驍騰41:44
數字與實體
| 該項目使用的集群規模 | 1萬核CPU + 100張V100 | 10:13 |
| 傳聞中美國預訓練追求的數據量級 | 30T | 19:17 |
| 單次模型微調迭代成本 | 幾萬元人民幣 | 51:49 |
| 單個RLaaS項目總成本(DeepSeek V4 Pro/GLM5.3量級模型) | 幾十萬到一百萬元人民幣 | 51:49 |
| Mind Lab支持的單base model併發LoRA數量 | 一百萬個LoRA | 55:54 |
| 人與人之間的基因差異比例 | 千分之五以下 | 55:54 |
術語
- RSI遞歸自我改進
- 模型用自己生成的數據訓練自己的範式,嘉賓認為被過度包裝成口號
- LoRA低秩適配
- 只訓練少量額外參數就能微調大模型的技術,成本遠低於全量訓練
- harness模型外圍腳手架
- 包裹模型的工程框架(調用、部署、評測等),不改變模型本身能力
- discount factor折扣因子
- 強化學習中給未來獎勵打折的參數,決定智能體看多遠的未來
- GRPO一種強化學習訓練算法
- 當前大模型訓練主流用的單步生成、單次打分的RL算法
收聽指南
評估大廠AI實驗室與創業公司模型團隊誰更值得下注的投資人,以及在做後訓練、RLaaS或NewLab創業的工程師和創始人。
開場關於Mind Lab爭議的回應部分偏公關表態,信息量較低,可以跳過。