大厂做不出最好的模型:不是技术问题,是账本问题
骁腾认为大厂的问题不是缺卡缺钱,而是财务账单逼着管理层把实验室产出做转化,这种向心力让突破性创新很难发生在大厂内部,但它们仍能靠置换算力稳赚钱。
原视频在 YouTube 上放不出来,用音频听:
核心论点 · 点时间戳可跳到原声
90分就该跳出去探索新事
骁腾把这套哲学直接归因于强化学习里exploration与exploitation的平衡:哪怕只是10%看似低效的随机探索,也是逼近全局最优解的必要代价,一味把当前事情抠到极致反而容易困在局部最优。他承认创业需要有人把事情补到100分,所以才找了另外两位联合创始人来做这部分工作,自己专注于探索。
— 骁腾国模短期悲观,长期乐观
他判断中美差距近期会因OpenAI、Anthropic更早布局数据与大规模RL而被重新拉开,速度会慢下来。但长期乐观有两个支点:国产算力明年会变得「能用」,以及中国组织数据、做数据operation的能力强于美国,甚至美国大厂很多数据清洗工作本身就是中国人在做。真正危险的是如果OpenAI在长链推理范式(比如一周级别推理、菲尔兹奖级证明)上实现突破且没被追上。
— 骁腾大厂大概率集体输掉模型竞赛
他用腾讯混元举例:顺利团队拿到了极大的权限和资源,本身技术不落后,但集团最终要看账单是不是ROI最高,这决定了实验室产出要不要被转化、要不要被重新分配资源。他引用一篇文章《The Cost of Staying》,认为大厂环境天然有一种向心力,使其难以做出突破性创新。但这不代表大厂商业上会输——它们可以靠算力换股权或销售,从创业公司身上挣到钱。
— 骁腾DeepSeek靠Infra便宜换数据量
他锐评几家国模:DeepSeek在Infra和模型codesign上投入最彻底,比如MLA从四路减到一路、encoder-decoder分离的设计,换来极低的训练和推理成本,从而能喂更多数据、撑更多RL训练;GLM务实,数据生产线是几家里最完善的;Kimi偏爱创新、比较fancy;Mimax则「信仰不够坚定」——曾靠Linear Attention做出差异化却自己放弃回到传统结构,又过早追求营收和上市,打乱了模型迭代的节奏。
— 骁腾Researcher都在拿锤子找钉子
他批评很多打着NewLab旗号的团队本末倒置:先造出世界模型、diffusion、RSI这类炫酷技术,再去找能用上它的场景,这就是拿锤子找钉子。真正该走的顺序是先做一个产品原型推向市场,不急于规模化增长,而是收集真实数据,再回头判断需要发明什么新的research方向。判断一个NewLab靠不靠谱,要看它有没有真正尝试过商业化闭环。
— 骁腾中间层公司迟早都要自建模型
他观察到美国无论做数据还是做infra的中间层公司,最后几乎都走向自建模型、自买算力,原因是模型本身是体验差异最大的部分,剩下的前端和harness都不重要——他打比方说历史上人们记得住名剑,却没人记得住剑鞘,harness就是那个剑鞘。相比之下,国内很多本该适合做这类服务的人,观念还没转过来,对接受外部RL服务的意识不够。
— 骁腾LoRA人格说:基因差千分之五
从算力受限(当时只有四台H800)被迫走LoRA路线,到被Thinking Machines的论文印证LoRA在很多场景效果等同全量训练后,Mind Lab把策略拆成scale up(底座做大)、scale down(每个LoRA做小做快)、scale out(并发跑海量LoRA)。他用人类基因类比:人与人基因差异不到千分之五,却造就完全不同的行为;LoRA之于base model也是这个逻辑,四月已做到在一个base model上并发推理一百万个LoRA。
— 骁腾模型缺的是存放taste的地方
他认为当前训练范式最大的缺口不是算法而是存储:AI一天能看300多篇论文,远超人类阅读速度,但模型无法把「读完300篇论文后形成的判断力」压缩存下来、持续迭代,只能原地重复。他认为真正的continual learning需要一个轻量、可迭代的单元去存这种taste,这也是Ilya目前在关注的方向之一。
— 骁腾原话 · 已逐字校验
我觉得所有的researcher都在犯一个致命的问题 就是大家是非常善于造锤子的 都是喜欢拿锤子去找它的钉子
我觉得所有researcher都在犯一个致命的问题,就是大家非常善于造锤子,都喜欢拿着锤子去找钉子。
骁腾37:40
就是其实AI很简单 对吧 就是data 然后model 只是可能你training的 这个有一些detail是不一样的
其实AI很简单,对吧,就是data然后model,只是training的细节不太一样。
骁腾41:44
数字与实体
| 该项目使用的集群规模 | 1万核CPU + 100张V100 | 10:13 |
| 传闻中美国预训练追求的数据量级 | 30T | 19:17 |
| 单次模型微调迭代成本 | 几万元人民币 | 51:49 |
| 单个RLaaS项目总成本(DeepSeek V4 Pro/GLM5.3量级模型) | 几十万到一百万元人民币 | 51:49 |
| Mind Lab支持的单base model并发LoRA数量 | 一百万个LoRA | 55:54 |
| 人与人之间的基因差异比例 | 千分之五以下 | 55:54 |
术语
- RSI递归自我改进
- 模型用自己生成的数据训练自己的范式,嘉宾认为被过度包装成口号
- LoRA低秩适配
- 只训练少量额外参数就能微调大模型的技术,成本远低于全量训练
- harness模型外围脚手架
- 包裹模型的工程框架(调用、部署、评测等),不改变模型本身能力
- discount factor折扣因子
- 强化学习中给未来奖励打折的参数,决定智能体看多远的未来
- GRPO一种强化学习训练算法
- 当前大模型训练主流用的单步生成、单次打分的RL算法
收听指南
评估大厂AI实验室与创业公司模型团队谁更值得下注的投资人,以及在做后训练、RLaaS或NewLab创业的工程师和创始人。
开场关于Mind Lab争议的回应部分偏公关表态,信息量较低,可以跳过。