數據中心裡造不出超級智能：瓶頸是真實世界的信號
把 AI 研發自動化不等於超級智能：Tom Reed 認為多數任務的數據只能在真實市場裡部署模型才產生，樣本效率和模擬都補不上，奇點卡在信號而非算力。
原視頻在 YouTube 上放不出來，用音頻聽：
核心論點 · 時間戳為按文稿位置估算
奇點的瓶頸是信號，不是算力
Tom 的正面主張不是超級智能不可能，而是它無法在數據中心內部堆出來。他的機制是：要擅長解決問題，就必須有問題的來源，而這個來源只能是與真實世界按串行時間進行的艱苦互動。他把這濃縮成一句「信號是主權者」——身體需要痛覺，公司需要利潤，模型需要真實部署。因此他判斷，超級智能的到來取決於把 AI 昂貴、痛苦、緩慢地部署進經濟，而不是取決於實驗室內部再堆多少算力。
— Tom Reed鋸齒形不會在奇點前消失
當前的能力前進方式不支持「模型在積累一個通用的 g」這種說法：模型變強的只是它有機會練習的東西，所以能力邊界比任何人預想的都更參差。2016 年沒人會預測到一個模型能在律師資格考試上超過斯坦福法學院畢業生，卻連井字棋都下不穩。Tom 認為鋸齒形主要是訓練數據分布的產物，沒有理由相信自動化 AI 研發會終結它，於是提出 Toner 定律：我們應當預期鋸齒形持續得比預期更久，即使我們已經為此做了調整。
— Tom Reed補丁式 RL 換不來通用智能
Tom 盯住能力進步的當前工具箱：定製 RL 環境是主要引擎。按 Mechanize 的說法，每一個環境都是單個工程師花一週時間，去補上一個在真實前沿模型上觀察到的具體失敗；Zhengdong Wang 的說法是，過去每擴一次規模就能拿到一捆能力，現在要一個個費力解鎖。Tom 的質疑是：難道要一直用「一週解決一個問題」的方式做到奇點嗎？如果 RL 真能泛化，AI 公司早該拿出證據；Dwarkesh 反覆追問 Dario 時，Dario 的每一次反駁都只是軟弱地把 RL 類比成 GPT-2 時代的預訓練泛化。
— Tom Reed大多數任務的相關數據是零
常見反駁是 LLM 樣本效率極低、可以大幅改進，AI 多頭會得意地指著 DeepSeek 用零頭算力達到 GPT-4 水平。Tom 不認：Anson Ho 和 Beren Millidge 都指出，每 FLOP 智能的提升主要來自數據質量而非算法質量，純算法創新在算力不變的情況下收益相當弱。更根本的是，多數任務的相關數據根本不存在——樣本效率提升幾個數量級，也乘不出零。他的檢驗方式是：如果互聯網從未存在，以今天的人才和算力寫代碼能進步多少？他的猜測是要幾百億小時人力。
— Tom Reed關於任務的文字，不等於任務
大多數經濟上有意思的任務，語料裡的東西是描述、評論或建議，而不是執行任務本身的記錄。Dominion 是個有大量攻略的桌遊，Claude 卻玩不好：教它寫出關於 Dominion 的漂亮文章的訓練流程，和造出一個能贏的智能體是兩回事，因為優化目標是「建議看起來好」而不是「策略能贏」。Tom 的比喻是，LLM 和大多數任務的關係有點像麥肯錫和經營一家公司的關係。例外是寫代碼——token 本身就是任務的構成部分，所以拿國際象棋評論而不是棋局去訓 AlphaZero，才是常態。
— Tom Reed分漲了，真實能力沒漲
數據中心裡的自我改進怎麼知道自己是真變強了？SWE-bench 上被 AI 自動評分器接受的提交中，接近一半會被相關代碼庫的真實人類維護者拒絕——分數可以灌上去而合併率不動。Tom 反問：Claude 8 要怎麼只靠 Become-POTUS eval 的結果，判斷它那套天才算法是否真的提升了 Claude 9 成為總統的能力？評估是有用的，但始終是固執地不完整的代理指標；最終唯一算數的 eval 是選民、客戶、經濟和利潤表。沒有這些，你的奇點會被無情地 Goodhart 掉。
— Tom Reed市場數據不是藏著，是還沒有
第二層懷疑更根本也更推測性：就算一個任意聰明的模擬器，也無法為許多任務生成練習數據，因為這些數據只能通過與相關市場的互動產生。這是哈耶克式的：某樣東西好，這個信號由數百萬行為者用行為揭示偏好而生成，它無法在數據中心裡模擬——不是數據採集偶然失敗，而是它們還不存在於任何地方。他用自己的桌遊打比方：一局 Twilight Imperium 要 12 小時，他會提前幾週推演到感覺穩贏，真打起來約 5 分鐘後預測力就歸零。持續學習也救不了，因為沒有真實多樣的問題集，你無法判斷哪個算法更好。
— Tom Reed贏的可能是成為部署者本身
推論一：政策重心放在「內部部署」和「自動化 AI 研發」上可能是錯位的——超級智能不是不可能，只是不會以現在設想的形態、在現在預測的時間線上到來；下一階段更像部署、客戶發現和真實數據收集的苦活。推論二：數據持有者的權力遠超他們自己的認知（烏克蘭就是一例），「能造前沿模型的公司」與「握有真實經濟活動專有部署數據的實體」之間的不對稱可能翻轉。推論三：實驗室可能逐個征服垂直行業，贏法就是自己成為部署者。
— Tom Reed原話 · 已逐字校驗
Put simply, I think it’s impossible to get good at solving problems without access to a source of those problems, and that arduous interaction with the real world in serial time is the only such source.
說白了，我認為，如果接觸不到問題的來源，就不可能變得擅長解決問題，而與真實世界在串行時間裡的艱苦互動是唯一這樣的來源。
Tom Reed1:41
We should expect jaggedness to last longer than we expect, even after we adjust for jaggedness lasting longer than we expect. Call this Toner’s law.
我們應當預期鋸齒形持續得比我們預期的更久，即使我們已經為「鋸齒形持續得比預期更久」做了調整。把這叫做 Toner 定律。
Tom Reed5:01
As Mechanize describe it, each environment is the product of a single engineer spending a week patching a single observed failure in a frontier model.
按 Mechanize 的說法，每一個環境都是單個工程師花一週時間、補上一個在前沿模型上觀察到的具體失敗的產物。
Tom Reed6:01
I would say LLMs relate to most tasks kind of like McKinsey does to running a company.
我會說，LLM 和大多數任務的關係，有點像麥肯錫和經營一家公司的關係。
Tom Reed10:36
This means that, for most tasks, our approach to training LLMs is akin to trying to train AlphaZero on chess commentary rather than on games of chess. My take would be that even a 100% success rate at predicting the tokens of a Robert Caro biography doesn’t generalise to becoming POTUS.
這意味著，對大多數任務來說，我們訓練 LLM 的方式，近似於拿國際象棋評論而不是棋局去訓練 AlphaZero。我的看法是，即便預測 Robert Caro 傳記的 token 達到 100% 成功率，也不能泛化成成為美國總統。
Tom Reed11:40
At the end of the day, the only eval that matters is the voter, the customer, the economy, and the bottom line. Without access to any of these, your singularity will be mercilessly Goodharted.
歸根結底，唯一算數的評估是選民、客戶、經濟和利潤表。接觸不到這些，你的奇點就會被無情地 Goodhart 掉。
Tom Reed14:06
You can’t simulate this from inside a data centre, because the inputs aren’t being withheld through any contingent failure of data collection — they just don’t exist anywhere yet, and they won’t until the market generates them.
你無法在數據中心內部模擬出這一點，因為這些輸入並不是因為數據採集的某種偶然失敗而被扣留——它們還不存在於任何地方，直到市場把它們生成出來。
Tom Reed15:28
I don’t think superintelligence is impossible — it just won’t arrive in the shape we currently anticipate, or on the timelines currently forecasted.
我不認為超級智能是不可能的——它只是不會以我們現在設想的那種形態到來，也不會在現在預測的那些時間線上到來。
Tom Reed20:13
數字與實體
| SWE-bench 上被 AI 自動評分器接受的提交中，被真實人類維護者拒絕的比例 | 接近一半 | 14:06 |
| 製作一個 RL 環境所需的投入 | 一名工程師一週，補一個前沿模型的具體失敗 | 6:01 |
| 假設互聯網從未存在，做出當前編碼能力所需的人力 | 幾百億小時 | 9:31 |
| 一局 Twilight Imperium 的時長 | 約 12 小時 | 16:41 |
| Twilight Imperium 賽前推演模型失去預測力的時間點 | 開局約 5 分鐘 | 16:41 |
| AI 2027 作者預期全自動化編碼後出現全面超越人類系統的時限 | 一年內 | 0:00 |
術語
- sample efficiency樣本效率
- 用更少數據達到同等能力；Tom 認為它救不了「相關數據為零」的任務。
- Goodhart Singularity古德哈特奇點
- Tom 用來指只對著評估指標自我改進而產生的假性奇點。
- jaggedness鋸齒形能力邊界
- 同一模型在不同任務上表現懸殊，能力參差不齊。
- continual learning持續學習
- 模型部署後邊做邊學的能力，被視為繞開數據瓶頸的退路。
- RL environments強化學習環境
- 為訓練模型定製搭建的任務場景，Tom 說它們是一個個手工補出來的。
收聽指南
關心 AGI 時間線的投資人和政策研究者，以及在垂直行業握有專有數據、想知道自己在 AI 價值鏈裡位置的創業者。
5:01–7:15 講鋸齒形與 RL 環境，已熟悉可跳過。