世界太吵,来原声听播客

80,000 Hours

METR 发现 Anthropic 用 AI 造 AI,速度已翻倍

METR 调查认为,Anthropic 当前研发提速约八成来自用自家 AI 做研究,这正是外界警告多年的递归自我改进的雏形。

AI安全递归自我改进AnthropicAI治理模型评估超级智能

原视频在 YouTube 上放不出来,用音频听:

一份独立机构历时11周查看 Anthropic 内部数据写成的报告,核心结论和证据细节都涉及可能改变你对 AI 风险判断的具体数字,值得完整听完。

核心论点 · 时间戳为按文稿位置估算

0:00

Anthropic 研发提速已达去年两倍

METR 花11周查看 Anthropic 内部测试分数、训练数据和员工访谈后得出结论:截至10月,Anthropic 在可量化任务上的提速约是一年前的两倍,置信区间在1.3到3倍之间。证据之一是把公司所有模型(含三个未公开的内部模型)的测试分数画成时间线,去年10月线的斜率突然翻倍。METR还排除了算力增加作为主因——算力确实在涨,但无法解释这次提速。

2:57

用两年前后对比把「翻倍」具象化

2023年底 Claude 还只是个连图片都看不懂、不能上网的聊天机器人;到2025年底,它能独立工作超过30小时、不需人介入就搭出一个完整的 Slack 式应用——这是两年的进步。而仅仅一年后,AI 就帮忙解决了困扰数学家87年的数学难题。这正是 METR 所说的「一年里走完两年进度」。

4:00

八成提速来自 AI 帮自己做研究

METR 排除了算力、招人潮、新数据、研究突破等简单解释后,给出的最佳猜测是:目前约80%的提速来自 Anthropic 用自家 AI 协助研究。但公开报告里涉及这个数字的大部分推理和最有说服力的证据都被 Anthropic 删改了,METR 承认这让外界不得不更多依赖他们的判断。

4:48

研究员证词与端到端自动化比例对上了

Anthropic 内部研究员说某些领域因为AI大幅提速,一位研究员的原话被引用(见金句)。单看这类印象不算有力证据,但它和时间点吻合:提速似乎始于2025年10月,正是 Claude 能连续独立写代码数小时的时候。Anthropic 自己的数据显示,今年早些时候 Claude 几乎不端到端做研究工作,到8月已能在人类监督下完成约四分之一。

6:19

没有明显因素会让这个循环停下来

AI 造 AI 和其它技术不同:AI越强,帮你造下一代就越快,这个循环只会在算力、训练数据或算法思路三个瓶颈上被卡住。METR检查了这三项,没发现未来一年内会卡住的迹象,他们承认自己信心不足、判断随新信息多次变化,但不能排除接下来六个月速度进一步加快,甚至提速本身也在加速。

7:33

Toby Ord 的质疑与 METR 的反驳

哲学家 Toby Ord 指出,测试分数那条线可能另有解释:Mythos 来自一次大得多的训练,大训练通常会带来一次性能力跃升,扣除这个因素后提速只有1.4倍而非2倍。但 AI 安全研究员 Buck Shlegeris 回应说,测试分数根本不是METR下结论的主要依据,只是报告里唯一没被删改、公众能看到的部分——真正让METR更确信「两倍」的是那些被删掉的证据。

10:41

Anthropic 自己承认已越过安全红线

Anthropic 给自己画的线是:AI 把研究提速到一年走完两年进度。8月的公开报告称提速「低于2倍」,但METR用Anthropic的私有数据算出的结果是1.97倍。就在作者完成这期视频前,Anthropic 在最新IPO文件中承认,基于对下一代模型的预期和当前速度,公司已经越过了这条自己画的线,但只说正在评估影响,没说会怎么做。

11:45

公司不会自我约束,监管必须介入

AI公司不停下来的逻辑是:如果自己停了,竞争对手会继续,而对手可能更不谨慎。纽约州议员 Alex Bores 呼吁国会立法禁止AI公司完全自动化自身研究,这一提案从 Bernie Sanders 到 Steve Bannon 都有支持者。同时METR指出,是否被邀请进入公司、能看到什么、报告写什么都是Anthropic自己定的,公司甚至在最后一周收紧删改规则,迫使METR返工并推迟发布。

原话 · 已逐字校验

I’ve seen us discovering very promising directions entirely because people can spam 10 ideas at Claude and just see what sticks.

我见过我们完全是因为有人能向Claude连续丢出10个想法、看哪个能成,才发现了非常有希望的研究方向。

the line only shows progress about 1.4 times as fast

那条线只显示出大约1.4倍的进步速度

that means security strong enough to stop the world’s best-resourced hackers, including governments, and tracking everything that happens in its AI development

这意味着安全措施要强到能挡住全世界资源最雄厚的黑客,包括各国政府,并且追踪其AI研发中发生的一切

he says he came away convinced

他说自己最终被说服了

by less than a factor of 2

低于2倍

Recursive self-improvement — AI building better AI building better AI — may be close.

递归自我改进——AI造出更好的AI、更好的AI再造出更好的AI——可能已经很接近了。

数字与实体

Anthropic当前研发提速倍数(METR估计)约2倍(区间1.3-3倍)1:57
Anthropic私有数据算出的提速倍数1.97倍10:41
提速中归因于AI协助研究的比例约80%4:00
Claude端到端完成研究工作的比例(今年8月)约四分之一4:48
Claude可独立工作时长(2025年底)超过30小时2:57
困扰数学家的难题年限87年2:57
Toby Ord扣除大训练一次性跃升后的提速估计约1.4倍7:33
Buck Shlegeris估计AI公司一年内建成超级智能的概率约三分之一9:09

术语

recursive self-improvement递归自我改进
AI协助建造更强AI,循环往复、不断加速的过程
AI 2027《AI 2027》
一份基于AI进展与地缘政治写成的著名预测情景报告

收听指南

谁该听

关注AI风险治理、在AI公司或政策部门工作、或正考虑转行做AI安全的人