世界太吵,来原声听播客

Interconnects

中美AI差距只有六到八个月:全面封杀蒸馏也拖不了太多

Epoch AI研究员JS Denain认为中美顶尖模型差距只有六到八个月,即便彻底禁掉蒸馏,六个月后差距也只会从六个月扩大到八九个月。

RSI中美AI差距蒸馏机器人AI安全Epoch AI

原视频在 YouTube 上放不出来,用音频听:

两位研究者不追逐RSI和中美差距的耸动叙事,而是用具体机制、数字和反例互相拆台,适合想跳出炒作看清论证链条的人。

核心论点 · 点时间戳可跳到原声

0:00

RSI 的公开证据其实很单薄

OpenAI和Anthropic都发博客讲AI加速AI研究,但JS Denain认为这些证据并不足以支持「即将出现自我持续加速的AI能力」或「AI研究员岗位被完全自动化」。最惹眼的信号是研究员用Codex的开支月增2倍,但这更像是模型可用性提升带来的采用,而非软件层面智能爆炸即将发生的证明。他强调,这类指标本身模糊——可能只是把之前分散在ChatGPT上的用量重新归入Codex统计而已。

— JS Denain
9:38

AI 还不会替你决定研究方向

OpenAI自己的加速度博客显示,研究员在工程类、排障类任务上使用Codex的比例明显上升,但无论是访谈还是会话记录,都没看到高层次战略决策——比如算力分配、研究方向选择——因AI获得明显提升。Nathan Lambert用类比讲清楚这层区别:博士生个人产出可能真的快十倍,但导师的整个研究议程未必因此加速十倍,公司层面的瓶颈会吃掉个体效率提升。

— Nathan Lambert
20:35

机器人工业爆炸:被低估的供给弹性

Nathan Lambert认为机器人产业的路径会更像自动驾驶而非LLM——建厂难、可靠性长尾问题多,两到五年内看不到规模化的机器人工业爆炸。JS Denain反驳:如果机器人真能替代蓝领工人,潜在市场极其庞大,参考美国数据中心的建设速度,财务激励足以撬动供给,美国某些领域缺乏大规模建设更多是需求问题而非能力瓶颈,但他也承认自己对机器人具体能力进展了解有限。

— JS Denain
27:39

中美差距六到八个月,蒸馏也撬不动太多

综合多种测算方法,JS Denain把中美顶尖公开模型的差距定在六到八个月(发布日期对发布日期)。即便设想「完全禁止蒸馏」这种极端情形,他估计六个月后差距也只会从六个月左右扩大到八九个月,而不是被认为的十二个月。他强调算力差距是数量级的,但差距体现在能力上却小得多,这本身就需要解释——蒸馏只是候选解释之一,而不是唯一原因。

— JS Denain
29:50

他为什么改口相信蒸馏管用

JS Denain承认自己此前低估了蒸馏的作用,促成转变的证据包括Stolen Thoughts论文——证明通过越狱API拿到模型推理轨迹相对容易,以及Claude路由器带来的真实提示词分布数据,这比单纯用基准测试题目生成相似样本更有价值。他也提到另一档节目里有人说「中训练已经能带来八成效果」,这类说法让他重新评估SFT在语言轨迹上训练的重要性,而不只是RL探索本身。

— JS Denain
38:27

证明一件事可行,就是最大的助攻

除了蒸馏,Nathan Lambert提出另一种解释中美差距缩小的机制:「四分钟一英里效应」——只要OpenAI、Anthropic证明某条技术路线走得通,中国实验室就不用把资源浪费在探索一堆死路上,直接抄近道复现。JS Denain认可这个思路,但也指出像推理模型(DeepSeek Math早于o1)这样的反例不完全符合这个模式,双方都承认这更像是组织和研发时间尺度上的差异。

— JS Denain
48:46

模型护栏挡不住,连OpenAI都被黑

就在录制前24小时,有人用公开的Claude模型攻破了OpenAI并拿到内部访问权限。JS Denain说这类事件很难判断该更新到「模型护栏不够好」还是「公司安全水平不够好」,但他承认现实是:开源模型护栏更弱但能力也更弱,闭源模型护栏稍强但更强大,两者对误用风险的净影响并不明朗。Stolen Thoughts论文和这次OpenAI事件都说明,即便公司有强烈动机去防止,护栏依然会被绕过。

— JS Denain
1:01:55

后训练流程是行业最大的黑箱

JS Denain试着复述自己对头部实验室后训练流程的心智模型:一个大的后训练团队下面分很多领域小组(数学、生物、金融),各自负责数据、RL环境和超参数调优,最后把各自成果打包竞标进入一次大的RL训练。Nathan Lambert认同组织结构上的分工描述,但指出真正的复杂度差异在于——是「多专家蒸馏合并」还是「顺序式大RL」,这个选择本身可能是限制进展速度的瓶颈,可惜外界几乎拿不到任何真实流程图。

— JS Denain

原话 · 已逐字校验

that plot, for example, just shows a 2X a month increase in Codex spending by researchers, and that does seem to me to be some evidence of they’re getting a lot of value out of this probably. I don’t think this is strong evidence that in six months we have a software intelligence explosion.

那张图表明,研究员使用Codex的开支大约每月增长两倍,这确实说明他们从中获得了不少价值。但我不认为这是「六个月内出现软件层面智能爆炸」的强证据。

JS Denain0:00

I think an analogy I have is, I think that junior PhD students will be 10X as productive, but from the advisor’s perspective, their research agenda will not proceed 10X as fast.

我的类比是:初级博士生的产出可能真的会快十倍,但从导师的角度看,整个研究议程未必会因此快十倍。

Nathan Lambert9:38

if you look at data centers in the US, there has been extremely fast build-out. If you had robots that were just literally able to substitute for blue-collar human workers, I feel like the financial incentives would be huge.

看看美国数据中心的建设速度就知道扩张有多快。如果机器人真的能直接替代蓝领工人,我觉得财务上的激励会大到足以推动建设。

JS Denain20:35

so currently if I’m saying six months gap, then in six months, it’s probably not literally 12 months, right? So, my guess is, yeah, you are at like eight or nine, something like that. You go from like six to nine maybe.

如果现在说差距是六个月,那六个月之后应该不会变成整整十二个月。我的猜测是大概会到八九个月左右,从六个月变成九个月左右。

JS Denain27:39

I think the Claude routers just give you a bunch of useful data to train on, and that will generally improve capabilities. I think that’s one explanation.

Claude的路由器能给你一大批有用的训练数据,这本身就会普遍提升能力,我认为这是一种解释。

JS Denain29:50

four-minute mile style effects of like, you show that something is possible at all and then people have the conviction to go down that route, don’t waste a ton of resources exploring a bunch of other things, is the thing you’re pointing at here.

这是一种「四分钟一英里」式的效应:你先证明一件事完全可行,别人就有信心走这条路,不必再把大量资源浪费在探索其他方向上。

JS Denain38:27

there’s definitely clearly examples like this one, or really the Stolen Thoughts paper or something. It just seems like the safeguards weren’t good enough to prevent that from happening, even though there’s strong incentives for the companies to prevent it.

确实有像这次事件、或者Stolen Thoughts论文这样明确的例子。看起来护栏并不足以阻止这些事发生,尽管公司有很强的动机去防止。

JS Denain48:46

数字与实体

Codex 支出增长速度研究员使用量约每月2倍增长0:00
Evan Hubinger 估计的存在风险概率至少10%4:09
中美顶尖公开模型能力差距6-8个月(发布日期对发布日期)24:47
禁止蒸馏情境下六个月后的差距预测从约6个月扩大到8-9个月27:39

术语

RSI递归自我改进
AI系统反过来加速AI研究本身的自我强化循环
ECIEpoch能力指数
Epoch AI用来衡量和比较模型能力水平的综合指标
distillation蒸馏
用强模型的输出数据训练弱模型,从而快速获得部分能力
four-minute mile effect四分钟一英里效应
一旦有人证明某事可行,后来者不必再摸索就能跟进复现
jaggedness参差前沿
AI能力在不同任务上进步极不均匀,强弱交错的状态
Goodharted古德哈特化
一旦指标被当作优化目标,它就不再能反映真实情况

收听指南

谁该听

关注中美AI差距和RSI风险的创业者、投资人,尤其是想要具体机制而非笼统结论的人。

可跳过

41:22-47:35的招聘数据研究方法论细节,可跳过。