世界太吵,來原聲聽播客

80,000 Hours

METR 發現 Anthropic 用 AI 造 AI,速度已翻倍

METR 調查認為,Anthropic 當前研發提速約八成來自用自家 AI 做研究,這正是外界警告多年的遞歸自我改進的雛形。

AI安全遞歸自我改進AnthropicAI治理模型評估超級智能

原視頻在 YouTube 上放不出來,用音頻聽:

一份獨立機構歷時11周查看 Anthropic 內部數據寫成的報告,核心結論和證據細節都涉及可能改變你對 AI 風險判斷的具體數字,值得完整聽完。

核心論點 · 時間戳為按文稿位置估算

0:00

Anthropic 研發提速已達去年兩倍

METR 花11周查看 Anthropic 內部測試分數、訓練數據和員工訪談後得出結論:截至10月,Anthropic 在可量化任務上的提速約是一年前的兩倍,置信區間在1.3到3倍之間。證據之一是把公司所有模型(含三個未公開的內部模型)的測試分數畫成時間線,去年10月線的斜率突然翻倍。METR還排除了算力增加作為主因——算力確實在漲,但無法解釋這次提速。

2:57

用兩年前後對比把「翻倍」具象化

2023年底 Claude 還只是個連圖片都看不懂、不能上網的聊天機器人;到2025年底,它能獨立工作超過30小時、不需人介入就搭出一個完整的 Slack 式應用——這是兩年的進步。而僅僅一年後,AI 就幫忙解決了困擾數學家87年的數學難題。這正是 METR 所說的「一年裡走完兩年進度」。

4:00

八成提速來自 AI 幫自己做研究

METR 排除了算力、招人潮、新數據、研究突破等簡單解釋後,給出的最佳猜測是:目前約80%的提速來自 Anthropic 用自家 AI 協助研究。但公開報告裡涉及這個數字的大部分推理和最有說服力的證據都被 Anthropic 刪改了,METR 承認這讓外界不得不更多依賴他們的判斷。

4:48

研究員證詞與端到端自動化比例對上了

Anthropic 內部研究員說某些領域因為AI大幅提速,一位研究員的原話被引用(見金句)。單看這類印象不算有力證據,但它和時間點吻合:提速似乎始於2025年10月,正是 Claude 能連續獨立寫代碼數小時的時候。Anthropic 自己的數據顯示,今年早些時候 Claude 幾乎不端到端做研究工作,到8月已能在人類監督下完成約四分之一。

6:19

沒有明顯因素會讓這個循環停下來

AI 造 AI 和其它技術不同:AI越強,幫你造下一代就越快,這個循環只會在算力、訓練數據或算法思路三個瓶頸上被卡住。METR檢查了這三項,沒發現未來一年內會卡住的跡象,他們承認自己信心不足、判斷隨新信息多次變化,但不能排除接下來六個月速度進一步加快,甚至提速本身也在加速。

7:33

Toby Ord 的質疑與 METR 的反駁

哲學家 Toby Ord 指出,測試分數那條線可能另有解釋:Mythos 來自一次大得多的訓練,大訓練通常會帶來一次性能力躍升,扣除這個因素後提速只有1.4倍而非2倍。但 AI 安全研究員 Buck Shlegeris 回應說,測試分數根本不是METR下結論的主要依據,只是報告裡唯一沒被刪改、公眾能看到的部分——真正讓METR更確信「兩倍」的是那些被刪掉的證據。

10:41

Anthropic 自己承認已越過安全紅線

Anthropic 給自己畫的線是:AI 把研究提速到一年走完兩年進度。8月的公開報告稱提速「低於2倍」,但METR用Anthropic的私有數據算出的結果是1.97倍。就在作者完成這期視頻前,Anthropic 在最新IPO文件中承認,基於對下一代模型的預期和當前速度,公司已經越過了這條自己畫的線,但只說正在評估影響,沒說會怎麼做。

11:45

公司不會自我約束,監管必須介入

AI公司不停下來的邏輯是:如果自己停了,競爭對手會繼續,而對手可能更不謹慎。紐約州議員 Alex Bores 呼籲國會立法禁止AI公司完全自動化自身研究,這一提案從 Bernie Sanders 到 Steve Bannon 都有支持者。同時METR指出,是否被邀請進入公司、能看到什麼、報告寫什麼都是Anthropic自己定的,公司甚至在最後一週收緊刪改規則,迫使METR返工並推遲發布。

原話 · 已逐字校驗

I’ve seen us discovering very promising directions entirely because people can spam 10 ideas at Claude and just see what sticks.

我見過我們完全是因為有人能向Claude連續丟出10個想法、看哪個能成,才發現了非常有希望的研究方向。

the line only shows progress about 1.4 times as fast

那條線只顯示出大約1.4倍的進步速度

that means security strong enough to stop the world’s best-resourced hackers, including governments, and tracking everything that happens in its AI development

這意味著安全措施要強到能擋住全世界資源最雄厚的黑客,包括各國政府,並且追蹤其AI研發中發生的一切

he says he came away convinced

他說自己最終被說服了

by less than a factor of 2

低於2倍

Recursive self-improvement — AI building better AI building better AI — may be close.

遞歸自我改進——AI造出更好的AI、更好的AI再造出更好的AI——可能已經很接近了。

數字與實體

Anthropic當前研發提速倍數(METR估計)約2倍(區間1.3-3倍)1:57
Anthropic私有數據算出的提速倍數1.97倍10:41
提速中歸因於AI協助研究的比例約80%4:00
Claude端到端完成研究工作的比例(今年8月)約四分之一4:48
Claude可獨立工作時長(2025年底)超過30小時2:57
困擾數學家的難題年限87年2:57
Toby Ord扣除大訓練一次性躍升後的提速估計約1.4倍7:33
Buck Shlegeris估計AI公司一年內建成超級智能的概率約三分之一9:09

術語

recursive self-improvement遞歸自我改進
AI協助建造更強AI,循環往復、不斷加速的過程
AI 2027《AI 2027》
一份基於AI進展與地緣政治寫成的著名預測情景報告

收聽指南

誰該聽

關注AI風險治理、在AI公司或政策部門工作、或正考慮轉行做AI安全的人