世界太吵,来原声听播客

Interconnects

真正的 RSI 还没来,瓶颈是峰值智能而非算力

实验室内部自动化集中在软件工程和日志监控这类可测量任务,而扩展定律要求指数级算力才能换来线性智能提升——RSI 更可能让模型变便宜,而不是让智能爆炸。

AI 进展RSI扩展定律后训练智能体

原视频在 YouTube 上放不出来,用音频听:

信息密度中等,但给出了对 RSI 时间线的一手反驳框架,适合想校准 AI 进展预期的从业者。

核心论点 · 时间戳为按文稿位置估算

0:00

实验室内部焦虑被文化放大

作者观察到,前沿实验室里数千个并发 agent 已经在持续工作,这让员工对 AI 进展速度和风险的预期被快速拉高。但他认为旧金山 AI 圈那种狂热的竞争文化本身会放大任何 AI 担忧,恐惧好卖,却会带来二阶负面效应。他回忆 2023 和 2024 年那些关于开源 AI 存亡的激烈安全辩论,当时预测的主要风险并没有按时间线到来。从这种焦虑跳到灭绝风险,在他看来「feels very religious」。

0:00

方向对但事实错的时间线

作者引用 Richard Ngo 的总结:AI 安全社区中很大一部分人正在隐式或显式地押注几年内发生智能爆炸。他自己的默认预期是,这些人会「directionally correct but factually wrong」——未来 8 年内不会出现超级智能,但事情会快到让人感觉短时间线派是对的。他把这种状态称为 lossy self-improvement,即自我改进是有损的,不是真正的 RSI。

2:52

推理算力扩张不等于 RSI

作者从 Dwarkesh 与 Noam Brown 的播客中意识到,大规模推理容量带来的短期加速非常可观,实验室会把数千个 agent 投向重要且可测量的问题。但他怀疑,随着总算力上升,实验室未必能负担把固定比例算力花在内部研发上,尤其在有 IPO 计划、面临基本经济性审视时。他强调不要把推理时扩展这种相对可预测的动态,和高度不确定的 RSI 输出混为一谈。

2:52

智能是锯齿状的,阈值不连续

作者从 Dwarkesh 与 John Schulman、Beren Millidge、Charlie O'Neill 的三方讨论中提取出一个关键问题:讨论 RSI 时缺乏对「智能」的明确定义。智能的锯齿状意味着必须讨论具体可测量任务上的阈值。LLM 的智能形态和人类非常不同,而我们预测的角色却是人类形状的,所以 AI 不会像远程工作者或 AI 研究员那样离散地跨过阈值,而是缓慢扩散,永远存在长尾。

2:52

科学瓶颈在理解而非实验

作者认为很多人低估了科学中沟通和与同事建立标准的部分。他相信实验设计与测试的循环在不久的将来会快 10 倍,但不相信假设生成和直觉构建也会如此。加速理解才是关键瓶颈,而尽管 AI 工具大幅改进,人类在这方面的能力只会边际提升。科学的一大进步是让人类把更多时间投在这里,而不是让人类在这件事上指数级变强。

2:52

RSI 先让模型变便宜

作者指出,当涉及改进 AI 模型时,RSI 更有助于效率而非扩展峰值智能。原因是 LLM 服务有清晰、可测量、可塑的指标要改进,这会带来更好的推理时扩展和更高效的多 agent 系统。但所有扩展定律都显示,要让智能线性提升,需要指数级的算力和资源。RSI 会让现代 LLM 大幅变便宜,固定智能水平下成本指数下降的趋势可能加速。对实验室来说关键是提高利润率,而 Jevons 悖论很可能占上风,带来强劲业务。

2:52

后训练难以被自动化

作者引用 John Schulman 的话:后训练团队需要很多人,是因为有很多不同领域要弄清楚模型应该如何表现,很难把整件事自动化,因为总得有人思考模型在这个领域应该怎么表现。Schulman 还说,后训练很容易以某种基准测试看不出来的方式搞砸。作者同意这些任务对当前 LLM 特别难,虽然随着 RL 环境快速扩展会变好,但这个范式不会永远持续,未来构建和测试能真正挑战领先 LLM 的新环境可能指数级变难。

2:52

实验室内部自动化集中在常规任务

作者读到 OpenAI 和 Anthropic 分享的内部 RSI 测量,他的解读是:实验室内部自动化最大的起飞集中在软件工程、监控日志、管理计划实验等相当常规但不总是简单的任务。他特别惊讶于 Claude Fable 5.1 & Mythos 5.1 系统卡里的措辞:内部使用近期 AI 模型是维持当前进展速度的关键因素,但尚未看到明显超越该速度的加速迹象。作者总结,最难推动的指数是峰值智能,而早期 RSI 更像是把推理时算力大规模扩展和扩散到 AI 研究及相关活动,仍有大量低垂果实。

原话 · 已逐字校验

The step from this anxiety, and incidents like OpenAI-HuggingFace, to extinction risks feels very religious.

从这种焦虑,以及像 OpenAI-HuggingFace 这样的事件,跳到灭绝风险,感觉非常宗教化。

they’ll turn out to be directionally correct (relative to the expectations of almost anyone not linked to the community) but factually wrong

他们最终会被证明方向正确(相对于几乎任何与该社区无关的人的预期),但事实错误。

It is important to not confuse massive steps in inference-time scaling, a dynamic which should be fairly predictable, with being the outputs of RSI, which is highly uncertain.

重要的是,不要把推理时扩展的巨大进步——一种应该相当可预测的动态——与 RSI 的输出混为一谈,后者高度不确定。

The jaggedness of intelligence means that we need to discuss thresholds in specific, measurable tasks.

智能的锯齿状意味着我们需要在具体、可测量的任务上讨论阈值。

I do buy the cycle of experiment design and testing being 10x faster in the near future, but not hypothesis generation and intuition building.

我确实相信实验设计与测试的循环在不久的将来会快 10 倍,但不相信假设生成和直觉构建也会如此。

RSI is poised to make modern LLMs vastly cheaper.

RSI 将使现代 LLM 大幅变便宜。

It’s really easy to screw up post-training in some way that doesn’t show up in benchmarks.

后训练很容易以某种基准测试看不出来的方式搞砸。

John Schulman2:52

We believe that internal usage of recent AI models has been a key factor in maintaining the current rate of progress, but we do not yet see clear signs of dramatic acceleration beyond that rate.

我们相信,内部使用近期 AI 模型是维持当前进展速度的关键因素,但我们尚未看到明显超越该速度的加速迹象。

数字与实体

AI 研究员生产力提升 10 倍的时间线(Charlie O'Neill)5–10 年2:52
AI 研究员生产力提升 10 倍的时间线(John Schulman)约 2 年2:52
AI 在计算机工作上超越顶级人类专家的时间线(John Schulman)3–4 年2:52
AI 在计算机工作上超越顶级人类专家的时间线(Charlie O'Neill)5–10 年2:52
AI 在计算机工作上超越顶级人类专家的时间线(Beren Millidge)约 5 年(实验室重点领域)2:52
远程白领工作替代时间线(Charlie O'Neill)约 1 年(有程序化工具访问);约 2 年(必须通过浏览器)2:52
远程白领工作替代时间线(Beren Millidge)约 3 年达到完全通用;80–90% 覆盖更早2:52
远程白领工作替代时间线(John Schulman)约 1 年达到「还行」的版本2:52

术语

RSI递归自我改进
AI 系统能自主改进自身智能,形成加速循环。
lossy self-improvement有损自我改进
作者提出的替代概念:AI 能加速部分环节,但信息与理解在传递中损失,无法形成完整 RSI。
jaggedness of intelligence智能的锯齿状
AI 能力在不同任务上高低不平,而非整体平滑提升。
Jevons paradox杰文斯悖论
效率提升导致单位成本下降,反而使总需求增加、总消耗上升。

收听指南

谁该听

关注 AI 进展时间线的创业者、投资人和工程师,尤其是想校准 RSI 叙事与实验室内部实际自动化程度的人。

可跳过

对 Dwarkesh 播客时间线预测表格不感兴趣的读者,可跳过 2:52 附近的具体年份列举。