世界太吵,来原声听播客

42章经

大厂做不出最好的模型:不是技术问题,是账本问题

骁腾认为大厂的问题不是缺卡缺钱,而是财务账单逼着管理层把实验室产出做转化,这种向心力让突破性创新很难发生在大厂内部,但它们仍能靠置换算力稳赚钱。

强化学习后训练LoRANewLab大厂创新困境RLaaS
如果你在判断大厂AI实验室还是创业公司模型团队更值得下注,这集给出了具体机制而不是空泛站队。

核心论点 · 点时间戳可跳到原声

4:00

90分就该跳出去探索新事

骁腾把这套哲学直接归因于强化学习里exploration与exploitation的平衡:哪怕只是10%看似低效的随机探索,也是逼近全局最优解的必要代价,一味把当前事情抠到极致反而容易困在局部最优。他承认创业需要有人把事情补到100分,所以才找了另外两位联合创始人来做这部分工作,自己专注于探索。

— 骁腾
18:10

国模短期悲观,长期乐观

他判断中美差距近期会因OpenAI、Anthropic更早布局数据与大规模RL而被重新拉开,速度会慢下来。但长期乐观有两个支点:国产算力明年会变得「能用」,以及中国组织数据、做数据operation的能力强于美国,甚至美国大厂很多数据清洗工作本身就是中国人在做。真正危险的是如果OpenAI在长链推理范式(比如一周级别推理、菲尔兹奖级证明)上实现突破且没被追上。

— 骁腾
22:21

大厂大概率集体输掉模型竞赛

他用腾讯混元举例:顺利团队拿到了极大的权限和资源,本身技术不落后,但集团最终要看账单是不是ROI最高,这决定了实验室产出要不要被转化、要不要被重新分配资源。他引用一篇文章《The Cost of Staying》,认为大厂环境天然有一种向心力,使其难以做出突破性创新。但这不代表大厂商业上会输——它们可以靠算力换股权或销售,从创业公司身上挣到钱。

— 骁腾
30:42

DeepSeek靠Infra便宜换数据量

他锐评几家国模:DeepSeek在Infra和模型codesign上投入最彻底,比如MLA从四路减到一路、encoder-decoder分离的设计,换来极低的训练和推理成本,从而能喂更多数据、撑更多RL训练;GLM务实,数据生产线是几家里最完善的;Kimi偏爱创新、比较fancy;Mimax则「信仰不够坚定」——曾靠Linear Attention做出差异化却自己放弃回到传统结构,又过早追求营收和上市,打乱了模型迭代的节奏。

— 骁腾
37:40

Researcher都在拿锤子找钉子

他批评很多打着NewLab旗号的团队本末倒置:先造出世界模型、diffusion、RSI这类炫酷技术,再去找能用上它的场景,这就是拿锤子找钉子。真正该走的顺序是先做一个产品原型推向市场,不急于规模化增长,而是收集真实数据,再回头判断需要发明什么新的research方向。判断一个NewLab靠不靠谱,要看它有没有真正尝试过商业化闭环。

— 骁腾
45:55

中间层公司迟早都要自建模型

他观察到美国无论做数据还是做infra的中间层公司,最后几乎都走向自建模型、自买算力,原因是模型本身是体验差异最大的部分,剩下的前端和harness都不重要——他打比方说历史上人们记得住名剑,却没人记得住剑鞘,harness就是那个剑鞘。相比之下,国内很多本该适合做这类服务的人,观念还没转过来,对接受外部RL服务的意识不够。

— 骁腾
54:58

LoRA人格说:基因差千分之五

从算力受限(当时只有四台H800)被迫走LoRA路线,到被Thinking Machines的论文印证LoRA在很多场景效果等同全量训练后,Mind Lab把策略拆成scale up(底座做大)、scale down(每个LoRA做小做快)、scale out(并发跑海量LoRA)。他用人类基因类比:人与人基因差异不到千分之五,却造就完全不同的行为;LoRA之于base model也是这个逻辑,四月已做到在一个base model上并发推理一百万个LoRA。

— 骁腾
57:21

模型缺的是存放taste的地方

他认为当前训练范式最大的缺口不是算法而是存储:AI一天能看300多篇论文,远超人类阅读速度,但模型无法把「读完300篇论文后形成的判断力」压缩存下来、持续迭代,只能原地重复。他认为真正的continual learning需要一个轻量、可迭代的单元去存这种taste,这也是Ilya目前在关注的方向之一。

— 骁腾

原话 · 已逐字校验

我觉得所有的researcher都在犯一个致命的问题 就是大家是非常善于造锤子的 都是喜欢拿锤子去找它的钉子

我觉得所有researcher都在犯一个致命的问题,就是大家非常善于造锤子,都喜欢拿着锤子去找钉子。

骁腾37:40

就是其实AI很简单 对吧 就是data 然后model 只是可能你training的 这个有一些detail是不一样的

其实AI很简单,对吧,就是data然后model,只是training的细节不太一样。

骁腾41:44

数字与实体

该项目使用的集群规模1万核CPU + 100张V10010:13
传闻中美国预训练追求的数据量级30T19:17
单次模型微调迭代成本几万元人民币51:49
单个RLaaS项目总成本(DeepSeek V4 Pro/GLM5.3量级模型)几十万到一百万元人民币51:49
Mind Lab支持的单base model并发LoRA数量一百万个LoRA55:54
人与人之间的基因差异比例千分之五以下55:54

术语

RSI递归自我改进
模型用自己生成的数据训练自己的范式,嘉宾认为被过度包装成口号
LoRA低秩适配
只训练少量额外参数就能微调大模型的技术,成本远低于全量训练
harness模型外围脚手架
包裹模型的工程框架(调用、部署、评测等),不改变模型本身能力
discount factor折扣因子
强化学习中给未来奖励打折的参数,决定智能体看多远的未来
GRPO一种强化学习训练算法
当前大模型训练主流用的单步生成、单次打分的RL算法

收听指南

谁该听

评估大厂AI实验室与创业公司模型团队谁更值得下注的投资人,以及在做后训练、RLaaS或NewLab创业的工程师和创始人。

可跳过

开场关于Mind Lab争议的回应部分偏公关表态,信息量较低,可以跳过。