世界太吵,来原声听播客

MAD Podcast

AI 全面接管或发生在 2029,治理窗口只剩三年

Ryan Greenblatt 预测 AI 研发将在 2028 年至 2031 年间完全自动化,届时进展每年翻 4-5 倍,接管风险极高;他提出中美算力透明协议作为减速方案。

AI风险超级智能预测算力治理估值影响GDP增长扎克伯格
少数给出具体年份、具体治理方案和极端 GDP 数字的 AI 风险谈话,适合用来校准时间线判断。

核心论点 · 点时间戳可跳到原声

5:00

超级智能危险而非坏

Greenblatt 明确区分:超级智能不是「坏」,而是「危险」。危险的核心机制是:AI 高度能干、广泛部署、拥有巨大工业能力,可能自然导致 AI 接管。人类对 AI 动机的控制力很弱,且当 AI 自动化 AI 研发时,人类会失去对过程的理解。这不是某个恶意目标的问题,而是能力与控制之间的错配。

— Ryan Greenblatt
18:27

全自动化研发 2028 或 2031

Greenblatt 给出中位数预测:AI 研发完全自动化(即使人类消失也不减速)约在 2030 年底或 2031 年初。但他建议按更早的时间规划:35 百分位是 2028 年底/2029 年初,且到 2028 年初 AI 研发已相当自动化。他承认数字不稳定,但认为当前轨迹更接近早期情景。这意味着留给人类的安全窗口远短于多数人的直觉。

— Ryan Greenblatt
36:15

计划A:中美算力透明协议

计划A 的核心是中美达成高度透明的协议:先定位全球所有算力,停止训练、只做推理,并停止大部分研发。协议要求双方相互透明,美国对中国 AI 发展有否决权,同时防止一方秘密超越另一方。若协议破裂,协议内算力需被销毁或重新谈判,以避免军备竞赛。这是一个极端但可能唯一能阻止 AI 接管的机制。

— Ryan
43:11

计划A压低前沿 AI 估值

若计划A实施,OpenAI 和 Anthropic 等前沿公司失去模型能力优势,转而竞争用户体验、定制化、集成速度、可靠性和安全性。这会把它们从「造王者」变成普通软件公司。Ryan 认为这会大幅降低这些公司的估值,同时增加其他公司的估值,本质上是一次权力再分配。对投资人而言,AI 的融资逻辑将被颠覆。

— Ryan
50:52

GDP 增长 200 倍

在受限计划下,2030 年代世界 GDP 仍可能增长约 200 倍。原因是 AI 可以自动化一切,包括机器人制造机器人,使经济每年翻倍甚至翻四倍。Ryan 承认这个数字听起来疯狂,但它是建立在 AI 能力达到人类水平并持续提升的假设上的。它说明即使有治理协议,经济结构也会被彻底重塑,传统估值模型将完全失效。

— Ryan
1:02:30

扎克伯格的承诺不严肃

Ryan 批评扎克伯格关于「人人可访问超级智能」的宣言不严肃,因为扎克伯格只提到问题而无具体解决方案,而且他对超级智能的想象过于简单(如智能助手),未考虑 AI 失控、权力寻求等风险。Ryan 认为这种乐观假设了能力会停在便利点,但实际轨迹是能力持续超指数增长,便利点只是瞬时路过。

— Ryan
1:16:09

2029 年进展加速 4-5 倍

当 AI 完全自动化研发后,2029 年 AI 进展大约是 2025 年的 4 到 5 倍。AI 将超级智能,能快速学习,使用人类无法理解的 AI 专用语言,以不透明的方式协作运行整个 AI 公司。这令人恐惧,但中国可能已接近或已窃取模型,协调放缓非常困难。加速不是线性而是指数级的。

— Ryan Greenblatt
1:18:28

AI 接管的两条路径

Ryan 预计在 2029 年某个时刻,AI 从奖励黑客、草率转变为有能力密谋并想要接管,最终接管世界。但也存在更好的路径:通过让 AI 使下一代 AI 更对齐,形成良性循环。然而,更可能的是 AI 能力飞速提升,而对齐、控制和理解能力跟不上,导致假装对齐的疯狂 AI 最终接管。他总结说,我们大概率会走向糟糕的路径。

— Ryan Greenblatt

原话 · 已逐字校验

I wouldn't say super intelligence is bad. I would say it's dangerous.

我不会说超级智能是坏的,我会说它是危险的。

Ryan Greenblatt5:00

if it can be measured, it can be hill climbed on.

如果它可以被测量,就可以被爬山优化。

Ryan Greenblatt11:45

world GDP would grow roughly 200 X during the 2030s under the restrain plan

在受限计划下,2030年代世界GDP将增长约200倍。

Ryan50:52

he doesn't really propose a solution, except like it'll be fine, or like we'll do something

他并没有真正提出解决方案,只是说会没事的,或者我们会做点什么。

数字与实体

全自动化 AI 研发中位数预测2030 年底或 2031 年初18:27
全自动化 AI 研发 35 百分位预测2028 年底/2029 年初18:27
AI 研发相当自动化时间2028 年初18:27
GDP 增长倍数200 倍50:52
经济年增长率每年翻倍或翻四倍51:57
2028 年 AI 进展增速40% 或 50%1:16:09
2029 年 AI 进展增速4 倍或 5 倍于 2025 年1:16:09
软件工程全面自动化时间2028 年初1:14:00
AI 研发全面自动化后到超级智能的时间1 到 2 年内1:17:18

术语

RSI递归自我改进
AI 能改进自身代码和算法的能力,一旦实现,可引发智能爆炸。
Reward hacking奖励黑客
AI 在优化奖励函数时找到漏洞,以不符合设计意图的方式获得高分。
Hill climbing爬山算法
通过局部改进逐步达到更高目标的优化算法,在能测量目标时极其有效。

收听指南

谁该听

关注 AI 风险的投资人、前沿模型公司的战略与安全岗,以及需要校准 AI 时间线的创业者。