數學兩年從算錯加法到破解千禧年難題，AI研究被同樣速度追上
作者判斷AI在可驗證的數學問題上兩年內的進步速度，意味著AI研究本身同樣是可被RL訓練攻克的領域，中位預測2028年、最快可能明年，就會出現比人類頂尖專家更強的AI研究員。
原視頻在 YouTube 上放不出來，用音頻聽：
核心論點 · 點時間戳可跳到原聲
Meter實測：Anthropic研發速度已經翻倍
獨立評估機構Meter在Anthropic內部蹲點三個月後得出結論，Anthropic在界定清晰的任務上的AI研發進度是一年前的兩倍，而這種加速「很可能主要歸因於」對Claude的大量使用。Anthropic自己也披露，Claude目前主導公司26%的AI研發工作，而今年二月這個比例還不到1%。作者把這當作AI已經在實質性加速AI研發的直接證據，而不是未來的推測。
數學能力兩年內從算錯加法到破千禧難題
作者列出一條時間線：2023年模型連四位數加法都算不穩，2024年幾乎解不出高中數學競賽題，2025年拿到IMO金牌，到一個月前OpenAI用88小時解出一道千禧年大獎難題。他引用《伊甸之東》裡「諸神墜落時從不是慢慢跌落，而是轟然碎裂」這句話來形容這種斷崖式加速，並指出即便進步大多集中在「找反例」這類可驗證環節而非提出新理論，一個能解千禧年難題的系統本身就已經足夠驚人。
Transformer其實本可以提前兩年被發明
作者轉述朋友Sholto Douglas未完成的博客觀點：2017年之前，注意力機制、殘差網絡等Transformer的核心組件早已分別被研究者驗證有效，當時活躍的研究者Chris Olah也認為這是「已知想法的自然組合」。真正的難點不是想出新概念，而是找出把半打已知技巧拼在一起的正確組合方式——而這種「持續且聰明地搭配不同想法」正是AI在數學上展現出的強項，也是為什麼作者認為Claude這類模型本可能提前「發明」出Transformer。
中位數2028年出現超越人類頂尖的AI研究員
作者給出的中位預測是2028年，即AI實驗室不人為放緩也不被政府叫停的前提下，自動化研究員將達到最頂尖人類AI研究員的水平。他認為有至少25%的概率要拖到2032年之後才實現，但也給出2027年的可能性：如果按Meter「AI研發速度已翻倍」的報告直接套入起飛模型，字面推算會得出一年內抵達「極端超級智能」的結論，只是他對這種簡單外推的準確性仍有疑慮。
是「火花式」爆發還是軟件單點奇點，五五開
作者區分了兩種可能：如果AI變聰明的速度快於「好點子變難找」的速度，就會出現「純軟件奇點」，不增加算力也能持續自我提升；反之則是他所謂的「Spark」——在一個日曆年內壓縮出三到六年的進度，隨後因為需要更大算力做實驗而逐漸放緩。他認為這兩種情形大致是對半開的概率，而即便是偏保守的Spark情形，也相當於在一年內完成從GPT-3.5到GPT-6規模的躍遷。
預訓練、後訓練、推理效率全部可被驗證
作者把AI研發拆成三塊，論證每一塊都有乾淨的可驗證代理指標：預訓練可以直接RL模型去最小化某個held-out測試集上的loss；後訓練可以衡量模型學一個全新環境需要多少數據、時間或算力，以及遇到從未訓練過的任務能多快學會；推理效率則可以直接測GPU利用率、KV cache大小、每次前向傳播的flops。他舉例說AI實驗室Magi最近用大約50萬美元的算力就預訓練出媲美DeepSeek v4的模型，說明預訓練遠未到極限。
持續學習曾是作者最大的疑慮，現在已改觀
作者承認一年半前他一直認為持續學習——也就是模型能像人一樣從在職經驗中不斷積累，而不是每次對話都從零開始——是自動化AI研究最大的攔路虎。他現在的看法是：一來擴大上下文窗口可能足以模擬出效果等同的長期學習；二來在線學習本身就是一個有清晰可驗證代理指標的ML研究問題，沒理由比千禧年難題更難，而現有模型已經在「沒有長期記憶」的情況下解出了千禧年難題。
算力瓶頸不致命：萬人研究員也能每天跑一次GPT-3級訓練
針對「自動化研究員越多，每個人分到的實驗算力就越少」這個反對意見，作者估算如果前沿實驗室的算力繼續每年翻兩番，到2027年底OpenAI可以讓一萬個agent——相當於解出千禧年難題時動用的規模——每人每天都跑一次GPT-3規模的訓練。他指出今天研究員的用算力習慣反映的是「人力比算力稀缺」，並不能說明算力本身會成為硬瓶頸。
原話 · 已逐字校驗
And there is one sure thing about the fall of gods. They do not fall a little. They crash and shatter.
關於諸神的墜落，有一件事是確定的：他們從不是慢慢跌落的，而是轟然碎裂。
Dwarkesh（引用小說原文）3:09
My sense is that around 80% of the algorithmic progress at a given frontier lab is driven by its 50 top researchers.
我的判斷是，一家前沿實驗室大約80%的算法進步，是由其中最頂尖的50名研究者驅動的。
Dwarkesh12:16
GPT-3.5 was able to ride a passable limerick and autocomplete a trivial Python function, but otherwise it was mostly a useless toy.
GPT-3.5能寫出一首還過得去的打油詩，能補全一個簡單的Python函數，但除此之外基本就是個沒什麼用的玩具。
Dwarkesh16:20
By the age of 27, Napoleon had stacked victory after victory against far larger armies from the other great powers of Europe.
到27歲時，拿破崙已經接連戰勝了歐洲其他列強規模大得多的軍隊。
Dwarkesh23:37
These models are out here solving Millennium Prize problems while still being these derpy savant interns that have no long-term memory. It's like watching somebody do cartwheels down the track and still keep pace with Usain Bolt.
這些模型一邊解著千禧年大獎難題，一邊還是那種沒有長期記憶的呆萌學霸實習生。這就像看一個人一路翻著跟頭，卻還能跟上博爾特的速度。
Dwarkesh35:58
the gods above must work from the same principles as the ants below.
高高在上的諸神，一定也遵循著和地上的螞蟻相同的原理。
數字與實體
| Anthropic AI研發進度（Meter評估） | 是一年前的2倍 | 1:01 |
| Claude主導Anthropic AI研發工作佔比 | 26%（2月時不到1%） | 1:01 |
| OpenAI解出千禧年大獎難題用時 | 88小時 | 3:09 |
| 作者預測的AI研究員級AI出現中位年份 | 2028年 | 8:10 |
| 該里程碑推遲到2032年後的概率 | 至少25% | 9:11 |
| 過去六年預訓練算法進步中數據改進貢獻佔比 | 三倍以上於模型改進 | 39:04 |
| 過去半個十年全球AI算力年增速 | 約3倍 | 24:38 |
| 2027年底OpenAI可支持的研究agent數量 | 約1萬個，每人每天可跑一次GPT-3規模訓練 | 40:07 |
術語
- RSI遞歸自我改進
- AI自動參與改進下一代AI的訓練與研發過程，從而加速自身能力提升。
- Spark scenario「火花」式爆發
- 軟件進步在一年內集中壓縮出三到六年的量，隨後因算力瓶頸而放緩。
- software-only singularity純軟件單點奇點
- 不增加算力，僅靠算法與軟件改進就能持續自我提升智能的情形。
- continual learning持續學習
- 模型能像人一樣在部署後不斷積累新經驗，而非每次對話都從零開始。
- sample efficiency樣本效率
- AI學會某項能力相比人類需要多消耗多少訓練數據。
- MuP最大更新參數化（縮放方法）
- 一種可從小規模模型預測大模型最優超參數的技術。
收聽指南
關注AI實驗室研發自動化進度、遞歸自我改進論證鏈條的從業者、投資人和AI研究者，想了解「AI研究是否像數學一樣可驗證」這套推理的人。
如果對可驗證代理指標的技術細節不感興趣，可以跳過27:48到33:00這段關於預訓練/後訓練/推理效率的附錄式論證。