真正的 RSI 還沒來，瓶頸是峰值智能而非算力
實驗室內部自動化集中在軟件工程和日誌監控這類可測量任務，而擴展定律要求指數級算力才能換來線性智能提升——RSI 更可能讓模型變便宜，而不是讓智能爆炸。
原視頻在 YouTube 上放不出來，用音頻聽：
核心論點 · 時間戳為按文稿位置估算
實驗室內部焦慮被文化放大
作者觀察到，前沿實驗室裡數千個併發 agent 已經在持續工作，這讓員工對 AI 進展速度和風險的預期被快速拉高。但他認為舊金山 AI 圈那種狂熱的競爭文化本身會放大任何 AI 擔憂，恐懼好賣，卻會帶來二階負面效應。他回憶 2023 和 2024 年那些關於開源 AI 存亡的激烈安全辯論，當時預測的主要風險並沒有按時間線到來。從這種焦慮跳到滅絕風險，在他看來「feels very religious」。
方向對但事實錯的時間線
作者引用 Richard Ngo 的總結：AI 安全社區中很大一部分人正在隱式或顯式地押注幾年內發生智能爆炸。他自己的默認預期是，這些人會「directionally correct but factually wrong」——未來 8 年內不會出現超級智能，但事情會快到讓人感覺短時間線派是對的。他把這種狀態稱為 lossy self-improvement，即自我改進是有損的，不是真正的 RSI。
推理算力擴張不等於 RSI
作者從 Dwarkesh 與 Noam Brown 的播客中意識到，大規模推理容量帶來的短期加速非常可觀，實驗室會把數千個 agent 投向重要且可測量的問題。但他懷疑，隨著總算力上升，實驗室未必能負擔把固定比例算力花在內部研發上，尤其在有 IPO 計劃、面臨基本經濟性審視時。他強調不要把推理時擴展這種相對可預測的動態，和高度不確定的 RSI 輸出混為一談。
智能是鋸齒狀的，閾值不連續
作者從 Dwarkesh 與 John Schulman、Beren Millidge、Charlie O'Neill 的三方討論中提取出一個關鍵問題：討論 RSI 時缺乏對「智能」的明確定義。智能的鋸齒狀意味著必須討論具體可測量任務上的閾值。LLM 的智能形態和人類非常不同，而我們預測的角色卻是人類形狀的，所以 AI 不會像遠程工作者或 AI 研究員那樣離散地跨過閾值，而是緩慢擴散，永遠存在長尾。
科學瓶頸在理解而非實驗
作者認為很多人低估了科學中溝通和與同事建立標準的部分。他相信實驗設計與測試的循環在不久的將來會快 10 倍，但不相信假設生成和直覺構建也會如此。加速理解才是關鍵瓶頸，而儘管 AI 工具大幅改進，人類在這方面的能力只會邊際提升。科學的一大進步是讓人類把更多時間投在這裡，而不是讓人類在這件事上指數級變強。
RSI 先讓模型變便宜
作者指出，當涉及改進 AI 模型時，RSI 更有助於效率而非擴展峰值智能。原因是 LLM 服務有清晰、可測量、可塑的指標要改進，這會帶來更好的推理時擴展和更高效的多 agent 系統。但所有擴展定律都顯示，要讓智能線性提升，需要指數級的算力和資源。RSI 會讓現代 LLM 大幅變便宜，固定智能水平下成本指數下降的趨勢可能加速。對實驗室來說關鍵是提高利潤率，而 Jevons 悖論很可能佔上風，帶來強勁業務。
後訓練難以被自動化
作者引用 John Schulman 的話：後訓練團隊需要很多人，是因為有很多不同領域要弄清楚模型應該如何表現，很難把整件事自動化，因為總得有人思考模型在這個領域應該怎麼表現。Schulman 還說，後訓練很容易以某種基準測試看不出來的方式搞砸。作者同意這些任務對當前 LLM 特別難，雖然隨著 RL 環境快速擴展會變好，但這個範式不會永遠持續，未來構建和測試能真正挑戰領先 LLM 的新環境可能指數級變難。
實驗室內部自動化集中在常規任務
作者讀到 OpenAI 和 Anthropic 分享的內部 RSI 測量，他的解讀是：實驗室內部自動化最大的起飛集中在軟件工程、監控日誌、管理計劃實驗等相當常規但不總是簡單的任務。他特別驚訝於 Claude Fable 5.1 & Mythos 5.1 系統卡里的措辭：內部使用近期 AI 模型是維持當前進展速度的關鍵因素，但尚未看到明顯超越該速度的加速跡象。作者總結，最難推動的指數是峰值智能，而早期 RSI 更像是把推理時算力大規模擴展和擴散到 AI 研究及相關活動，仍有大量低垂果實。
原話 · 已逐字校驗
The step from this anxiety, and incidents like OpenAI-HuggingFace, to extinction risks feels very religious.
從這種焦慮，以及像 OpenAI-HuggingFace 這樣的事件，跳到滅絕風險，感覺非常宗教化。
they’ll turn out to be directionally correct (relative to the expectations of almost anyone not linked to the community) but factually wrong
他們最終會被證明方向正確（相對於幾乎任何與該社區無關的人的預期），但事實錯誤。
It is important to not confuse massive steps in inference-time scaling, a dynamic which should be fairly predictable, with being the outputs of RSI, which is highly uncertain.
重要的是，不要把推理時擴展的巨大進步——一種應該相當可預測的動態——與 RSI 的輸出混為一談，後者高度不確定。
The jaggedness of intelligence means that we need to discuss thresholds in specific, measurable tasks.
智能的鋸齒狀意味著我們需要在具體、可測量的任務上討論閾值。
I do buy the cycle of experiment design and testing being 10x faster in the near future, but not hypothesis generation and intuition building.
我確實相信實驗設計與測試的循環在不久的將來會快 10 倍，但不相信假設生成和直覺構建也會如此。
RSI is poised to make modern LLMs vastly cheaper.
RSI 將使現代 LLM 大幅變便宜。
It’s really easy to screw up post-training in some way that doesn’t show up in benchmarks.
後訓練很容易以某種基準測試看不出來的方式搞砸。
John Schulman2:52
We believe that internal usage of recent AI models has been a key factor in maintaining the current rate of progress, but we do not yet see clear signs of dramatic acceleration beyond that rate.
我們相信，內部使用近期 AI 模型是維持當前進展速度的關鍵因素，但我們尚未看到明顯超越該速度的加速跡象。
數字與實體
| AI 研究員生產力提升 10 倍的時間線（Charlie O'Neill） | 5–10 年 | 2:52 |
| AI 研究員生產力提升 10 倍的時間線（John Schulman） | 約 2 年 | 2:52 |
| AI 在計算機工作上超越頂級人類專家的時間線（John Schulman） | 3–4 年 | 2:52 |
| AI 在計算機工作上超越頂級人類專家的時間線（Charlie O'Neill） | 5–10 年 | 2:52 |
| AI 在計算機工作上超越頂級人類專家的時間線（Beren Millidge） | 約 5 年（實驗室重點領域） | 2:52 |
| 遠程白領工作替代時間線（Charlie O'Neill） | 約 1 年（有程序化工具訪問）；約 2 年（必須通過瀏覽器） | 2:52 |
| 遠程白領工作替代時間線（Beren Millidge） | 約 3 年達到完全通用；80–90% 覆蓋更早 | 2:52 |
| 遠程白領工作替代時間線（John Schulman） | 約 1 年達到「還行」的版本 | 2:52 |
術語
- RSI遞歸自我改進
- AI 系統能自主改進自身智能，形成加速循環。
- lossy self-improvement有損自我改進
- 作者提出的替代概念：AI 能加速部分環節，但信息與理解在傳遞中損失，無法形成完整 RSI。
- jaggedness of intelligence智能的鋸齒狀
- AI 能力在不同任務上高低不平，而非整體平滑提升。
- Jevons paradox傑文斯悖論
- 效率提升導致單位成本下降，反而使總需求增加、總消耗上升。
收聽指南
關注 AI 進展時間線的創業者、投資人和工程師，尤其是想校準 RSI 敘事與實驗室內部實際自動化程度的人。
對 Dwarkesh 播客時間線預測表格不感興趣的讀者，可跳過 2:52 附近的具體年份列舉。