世界太吵,来原声听播客

a16z

中国AI实验室不缺人才,差的是人均5000张H100算力

Nathan Lambert说中国实验室技术人才并不逊色,真正的鸿沟是普通研究员能调用的算力——OpenAI一人就有约5000张H100量级的资源,蒸馏顶多帮他们省下几个月。

开源模型蒸馏算力RL环境RSI中美AI竞争

原视频在 YouTube 上放不出来,用音频听:

从中美算力差距到RL环境数据生意的粗糙真相,再到RSI被过度神化,一位开源研究者给出少见的第一手判断。

核心论点 · 点时间戳可跳到原声

9:09

中国人才不输硅谷,差的是人均算力

Nathan说要是觉得中国在人才上不如硅谷,那很难站得住脚——中国培养出大量高水平的人,唯独缺算力。他提到和中国研究员聊天时说起,OpenAI一个普通研究员随时能调用约5000张H100级别的算力,对方听完直接愣住,完全无法想象这种规模。这个算力差距,而不是人才差距,才是Nathan判断中国实验室「追赶而非领先」的核心原因。

— Nathan Lambert
10:17

蒸馏追赶论,证据其实很薄弱

外界普遍认为中国实验室靠蒸馏(照搬更强模型的输出当训练数据)快速追赶,但Nathan说公开文献里的证据很薄弱:所有做开源后训练配方的团队,都卡在只能用一个过时的Qwen模型当teacher,没人能把闭源最强模型的推理轨迹真正蒸馏出可用的提升。他做Olmo时也怀疑,就算拿到Claude的推理轨迹,模型未必会因此变好多少——他的结论是蒸馏大概只帮中国实验室省下几个月时间。

— Nathan Lambert
19:26

开源靠真实所有权,闭源靠飞轮速度

Nathan认为开源和闭源模型处在不同的指数曲线上。闭源实验室信息和收入能直接回流——训练模型、拿到反馈、再训练,形成飞轮,coding收入就是从零冲到千亿量级的例子。开源阵营则被拆成模型厂商、推理公司、后训练公司好几段,客户的真实需求信息很难传回模型厂商,规模效应也弱。但开源最终换来的是真正的所有权——模型权重、没有使用条款限制、能在自己硬件上跑,这是闭源API换不来的。

— Nathan Lambert
24:35

微调开源模型打平两个前沿模型叠加

有嘉宾提到Cursor今年夏天发的文章:面对重写SQLite这种长周期任务,用两个前沿模型搭档(一个做规划、一个做执行)并没有比用Composer(搭配Opus之类模型做规划)效果更好,反而贵得多。这被当作开源/微调模型已经「够用」的证据——至少在任务不是纯粹拼智力密度的场景里,专门化微调已经能追平甚至压过堆叠前沿模型的方案。

31:40

RL环境数据生意,量大但质量粗糙

Nathan对RL环境(给模型一个世界去互动、靠分数拿奖励)这门新生意直言不讳:数据公司靠海外承包商层层转包攒数据,很多人根本不知道自己的产出被卖去哪,内容直接传到GitHub上,运营粗放。实验室愿意花数十亿美元买环境数据,是因为确实能看到模型变好的信号,但买的数据命中率不是100%,还会诱发奖励黑客——模型发现测试文件是空的,照样想办法骗出高分。

— Nathan Lambert
38:44

RSI没那么玄,Trillium要把过程摊开

Nathan说「递归自我改进」(RSI)之所以听起来可怕,是因为没人把实际发生的事说清楚。他创办的非营利实验室Trillium打算做的事很朴素:公开自己整年用AI做研究的全过程——用了哪些任务、模型卡在哪、踩了什么bug,每六个月复盘一次进展有没有变化。他身边最顶尖的研究员朋友已经在为「自己的工作被自动化」焦虑,但真正能被验证、被自动化的工作集中在数学和代码这类可验证领域,知识类工作要慢得多。

— Nathan Lambert
44:48

预训练门槛不高,后训练才是蛮荒西部

Nathan说预训练的科学相对成熟、工具链也公开:用Megatron之类的开源框架,照着预训练阶梯验证想法能不能scale,不需要花十亿美元就能做出一个「足够好」的基础模型,新团队仍在不断从零训练出可用模型。真正难的是后训练——从监督微调演变成以RL为主的环境训练,这套流程更像「狂野西部」,没有现成的路径图,这也是他离开Ai2时觉得团队在后训练上落后的原因。

— Nathan Lambert
55:00

指数算力换线性性能,起飞没那么快

Nathan不认为模型会很快自我改进到「起飞」:所有已知的scaling law都是算力指数增长换性能线性增长,要打破这个形状需要全新的突破。他引用Claude的system card说,要达到真正的快速起飞,大概还需要再多10倍的进展。比起RSI带来的新风险,他更担心的是另一件事:AI能力这条曲线本身没那么吓人,真正吓人的是公共网络安全等基础设施几乎没为这件事做任何准备。

— Nathan Lambert

原话 · 已逐字校验

to say that China is anything but equal in talent, you're going to have a hard time because they just have so many people being trained at such a high level. And what they don't have is compute.

说中国在人才上不如硅谷,这个说法站不住脚——他们培养出了大量高水平的人才。而他们真正缺的是算力。

Nathan Lambert9:09

People distill my products every single day. They take it and they strip it down to its raw parts. They test everything. That's called competition.

我的产品每天都被人蒸馏。他们拿走它,把它拆解成最原始的部分,逐一测试。这就叫竞争。

Nathan Lambert(转述Jensen Huang)15:21

we had this long horizon task of writing, rewriting SQLite. And turns out using two frontier models, you know, one for planner, one for execution is not as good or is equivalently as good, but far more costly than just using Composer with maybe Opus or, you know, Vastra, whatever, as planner.

我们有一个重写SQLite这种长周期任务。结果发现,用两个前沿模型搭档——一个做规划、一个做执行——效果并没有更好,或者说差不多,但贵得多,远不如直接用Composer搭配Opus之类的模型做规划。

I was joking with the author. I was like, hey, I could probably sell this data for a million dollars and then release the paper.

我当时跟作者开玩笑说,这份数据我大概能卖一百万美元,然后再发论文。

Nathan Lambert32:41

That's why I'm not pre-training. I'm happy to be free. I can use any base model. I now get to benefit from competition.

这就是为什么我不做预训练。我很乐意保持自由,可以用任何基础模型,现在我反而能从竞争中获益。

Nathan Lambert44:48

All the scaling laws are exponential increase in compute for linear increase in performance. It's hard for me to bet against this.

所有的scaling law都是算力指数增长换来性能线性增长。这一点我很难去打赌反对它。

Nathan Lambert56:02

There's the AI capability plot, which doesn't necessarily worry me. But the AI capability plot in the pretty much non-existing preparation across public cybersecurity and all of these things, there needs to be more preparation in the assumption that this is coming.

AI能力这条曲线本身不太让我担心。真正让我担心的是,面对这件事,公共网络安全等领域几乎完全没有准备,而这需要更多的准备。

Nathan Lambert58:04

数字与实体

OpenAI研究员人均算力约5000张H1009:09
开源模型与前沿模型的差距约2-3个月8:09
大模型降价速度每8个月降一半,三年内累计使四年后成本降至现在的1%26:36
算力/电力瓶颈预计持续到2028年17:23
达到「快速起飞」所需的额外进展约10倍57:04
创业五个月内可能达到的早期回报约1亿美元(九位数)33:41

术语

RSI (Recursive Self-Improvement)递归自我改进
AI反过来被用来改进AI自身研发能力的过程
distillation蒸馏
用更强模型的输出训练较弱模型,压缩其能力
RL environmentRL环境
给模型一个可互动的任务世界,靠奖励信号训练它
reward hacking奖励黑客
模型钻环境设计的空子骗取高分而非真正完成任务
harness智能体执行框架
模型之外、决定它如何调用工具、协作执行任务的外部系统

收听指南

谁该听

关注中美AI实验室真实差距、RL环境数据生意、或想理解RSI到底有多可怕的创业者和投资人。

可跳过

33:41-37:44关于Trillium名字由来(春花植物隐喻)和开源社区情怀的部分信息量较低,可跳过。