数学两年从算错加法到破解千禧年难题，AI研究被同样速度追上
作者判断AI在可验证的数学问题上两年内的进步速度，意味着AI研究本身同样是可被RL训练攻克的领域，中位预测2028年、最快可能明年，就会出现比人类顶尖专家更强的AI研究员。
原视频在 YouTube 上放不出来，用音频听：
核心论点 · 点时间戳可跳到原声
Meter实测：Anthropic研发速度已经翻倍
独立评估机构Meter在Anthropic内部蹲点三个月后得出结论，Anthropic在界定清晰的任务上的AI研发进度是一年前的两倍，而这种加速「很可能主要归因于」对Claude的大量使用。Anthropic自己也披露，Claude目前主导公司26%的AI研发工作，而今年二月这个比例还不到1%。作者把这当作AI已经在实质性加速AI研发的直接证据，而不是未来的推测。
数学能力两年内从算错加法到破千禧难题
作者列出一条时间线：2023年模型连四位数加法都算不稳，2024年几乎解不出高中数学竞赛题，2025年拿到IMO金牌，到一个月前OpenAI用88小时解出一道千禧年大奖难题。他引用《伊甸之东》里「诸神坠落时从不是慢慢跌落，而是轰然碎裂」这句话来形容这种断崖式加速，并指出即便进步大多集中在「找反例」这类可验证环节而非提出新理论，一个能解千禧年难题的系统本身就已经足够惊人。
Transformer其实本可以提前两年被发明
作者转述朋友Sholto Douglas未完成的博客观点：2017年之前，注意力机制、残差网络等Transformer的核心组件早已分别被研究者验证有效，当时活跃的研究者Chris Olah也认为这是「已知想法的自然组合」。真正的难点不是想出新概念，而是找出把半打已知技巧拼在一起的正确组合方式——而这种「持续且聪明地搭配不同想法」正是AI在数学上展现出的强项，也是为什么作者认为Claude这类模型本可能提前「发明」出Transformer。
中位数2028年出现超越人类顶尖的AI研究员
作者给出的中位预测是2028年，即AI实验室不人为放缓也不被政府叫停的前提下，自动化研究员将达到最顶尖人类AI研究员的水平。他认为有至少25%的概率要拖到2032年之后才实现，但也给出2027年的可能性：如果按Meter「AI研发速度已翻倍」的报告直接套入起飞模型，字面推算会得出一年内抵达「极端超级智能」的结论，只是他对这种简单外推的准确性仍有疑虑。
是「火花式」爆发还是软件单点奇点，五五开
作者区分了两种可能：如果AI变聪明的速度快于「好点子变难找」的速度，就会出现「纯软件奇点」，不增加算力也能持续自我提升；反之则是他所谓的「Spark」——在一个日历年内压缩出三到六年的进度，随后因为需要更大算力做实验而逐渐放缓。他认为这两种情形大致是对半开的概率，而即便是偏保守的Spark情形，也相当于在一年内完成从GPT-3.5到GPT-6规模的跃迁。
预训练、后训练、推理效率全部可被验证
作者把AI研发拆成三块，论证每一块都有干净的可验证代理指标：预训练可以直接RL模型去最小化某个held-out测试集上的loss；后训练可以衡量模型学一个全新环境需要多少数据、时间或算力，以及遇到从未训练过的任务能多快学会；推理效率则可以直接测GPU利用率、KV cache大小、每次前向传播的flops。他举例说AI实验室Magi最近用大约50万美元的算力就预训练出媲美DeepSeek v4的模型，说明预训练远未到极限。
持续学习曾是作者最大的疑虑，现在已改观
作者承认一年半前他一直认为持续学习——也就是模型能像人一样从在职经验中不断积累，而不是每次对话都从零开始——是自动化AI研究最大的拦路虎。他现在的看法是：一来扩大上下文窗口可能足以模拟出效果等同的长期学习；二来在线学习本身就是一个有清晰可验证代理指标的ML研究问题，没理由比千禧年难题更难，而现有模型已经在「没有长期记忆」的情况下解出了千禧年难题。
算力瓶颈不致命：万人研究员也能每天跑一次GPT-3级训练
针对「自动化研究员越多，每个人分到的实验算力就越少」这个反对意见，作者估算如果前沿实验室的算力继续每年翻两番，到2027年底OpenAI可以让一万个agent——相当于解出千禧年难题时动用的规模——每人每天都跑一次GPT-3规模的训练。他指出今天研究员的用算力习惯反映的是「人力比算力稀缺」，并不能说明算力本身会成为硬瓶颈。
原话 · 已逐字校验
And there is one sure thing about the fall of gods. They do not fall a little. They crash and shatter.
关于诸神的坠落，有一件事是确定的：他们从不是慢慢跌落的，而是轰然碎裂。
Dwarkesh（引用小说原文）3:09
My sense is that around 80% of the algorithmic progress at a given frontier lab is driven by its 50 top researchers.
我的判断是，一家前沿实验室大约80%的算法进步，是由其中最顶尖的50名研究者驱动的。
Dwarkesh12:16
GPT-3.5 was able to ride a passable limerick and autocomplete a trivial Python function, but otherwise it was mostly a useless toy.
GPT-3.5能写出一首还过得去的打油诗，能补全一个简单的Python函数，但除此之外基本就是个没什么用的玩具。
Dwarkesh16:20
By the age of 27, Napoleon had stacked victory after victory against far larger armies from the other great powers of Europe.
到27岁时，拿破仑已经接连战胜了欧洲其他列强规模大得多的军队。
Dwarkesh23:37
These models are out here solving Millennium Prize problems while still being these derpy savant interns that have no long-term memory. It's like watching somebody do cartwheels down the track and still keep pace with Usain Bolt.
这些模型一边解着千禧年大奖难题，一边还是那种没有长期记忆的呆萌学霸实习生。这就像看一个人一路翻着跟头，却还能跟上博尔特的速度。
Dwarkesh35:58
the gods above must work from the same principles as the ants below.
高高在上的诸神，一定也遵循着和地上的蚂蚁相同的原理。
数字与实体
| Anthropic AI研发进度（Meter评估） | 是一年前的2倍 | 1:01 |
| Claude主导Anthropic AI研发工作占比 | 26%（2月时不到1%） | 1:01 |
| OpenAI解出千禧年大奖难题用时 | 88小时 | 3:09 |
| 作者预测的AI研究员级AI出现中位年份 | 2028年 | 8:10 |
| 该里程碑推迟到2032年后的概率 | 至少25% | 9:11 |
| 过去六年预训练算法进步中数据改进贡献占比 | 三倍以上于模型改进 | 39:04 |
| 过去半个十年全球AI算力年增速 | 约3倍 | 24:38 |
| 2027年底OpenAI可支持的研究agent数量 | 约1万个，每人每天可跑一次GPT-3规模训练 | 40:07 |
术语
- RSI递归自我改进
- AI自动参与改进下一代AI的训练与研发过程，从而加速自身能力提升。
- Spark scenario「火花」式爆发
- 软件进步在一年内集中压缩出三到六年的量，随后因算力瓶颈而放缓。
- software-only singularity纯软件单点奇点
- 不增加算力，仅靠算法与软件改进就能持续自我提升智能的情形。
- continual learning持续学习
- 模型能像人一样在部署后不断积累新经验，而非每次对话都从零开始。
- sample efficiency样本效率
- AI学会某项能力相比人类需要多消耗多少训练数据。
- MuP最大更新参数化（缩放方法）
- 一种可从小规模模型预测大模型最优超参数的技术。
收听指南
关注AI实验室研发自动化进度、递归自我改进论证链条的从业者、投资人和AI研究者，想了解「AI研究是否像数学一样可验证」这套推理的人。
如果对可验证代理指标的技术细节不感兴趣，可以跳过27:48到33:00这段关于预训练/后训练/推理效率的附录式论证。