AI 自我改進的瓶頸不是算力，是模擬與驗證
凡是能被模擬的領域，AI 終將解決；凡是無法模擬的領域，再強的模型也只能等實驗數據。Richard Socher 認為遞歸自我改進的路徑是先讓 AI 研究 AI，再攻生物。
原視頻在 YouTube 上放不出來，用音頻聽：
核心論點 · 點時間戳可跳到原聲
科學進步在放緩，因為知識變成了迷宮
Socher 的論點是：抗生素把細菌感染從死刑變成小麻煩，但病毒和癌症沒有被同樣解決；E=mc² 和廣義相對論之後，物理學也沒有再出現同等級的基礎突破。原因不是人不夠多、錢不夠多，而是每個領域都分裂成上千個子領域，一個人要花很多年才能深入一個，導致每個子領域裡的人數反而不夠。他引用 Stanisav 等人的預測，認為這是科學放緩的重要原因。
— Richard Socher學術界不獎勵太新的東西
Socher 用自己的經歷說明：2010 年前後做神經網絡做 NLP，他最初幾篇論文大多被 NLP 會議拒掉，只能發在小眾 workshop 裡。他記得第一次 NIPS 深度學習 workshop 只有三四十人，都是後來很有名的人，當時被看作一小撮叛徒。他的判斷是：職業路徑要求你新穎，但太新穎論文就會被拒，這本身就是科學放緩的社會性原因。
— Richard Socherprompt engineering 那篇論文曾被全票拒稿
Socher 提到自己寫過一篇描述 prompt engineering 的論文（DECA NLP），主張一個神經網絡可以用任意問題去 prompt。這篇論文被幾乎所有審稿人和領域主席拒掉，理由包括「太擁擠」「沒意義」，甚至說連人類都沒有一個系統能回答所有類型的問題。他的論點是：現在看起來顯而易見的東西，當時對整個領域來說完全不顯然。這解釋了為什麼生物學家說「幾十年內不可能」時，他不一定相信。
— Richard Socher預測下一個 token 就是在學地理和蛋白質結構
Socher 用「我在紐約往北開」預測下一個詞是 Boston 的例子說明：只要預測下一個 token，模型就會吸收關於城市位置的地理知識。同樣的機制用在蛋白質上，訓練做 next token prediction 的神經網絡裡，摺疊後在 3D 空間裡更接近的蛋白質，在模型表示裡也有對應相關性。他的結論是：大神經網絡在足夠大的特定領域數據上訓練，就會通過預測下一個 token 吸收該領域的知識，token 可以是英文詞、蛋白質、圖像像素或聲音片段。
— Richard Socher能被模擬和驗證的領域，AI 一定會超人類
Socher 給出一個可預測的判據：凡是能模擬、能驗證的領域，AI 都能在模擬裡無限次實驗，因此最終會解決這些問題。國際象棋和圍棋沒有隱藏變量，AI 還能自己跟自己下，所以他不驚訝 AI 會贏。他進一步說數學會因此發生巨大變化，Tao 等前沿數學家已經清楚這一點；編程是當下最強的可驗證領域，因為你可以給一張網站截圖讓 AI 生成代碼，再自動驗證，所以整個編程和數字經濟都會改變。
— Richard Socher生物學缺的不是模型，是訓練數據
Socher 說遞歸自我改進的路線是先讓 AI 做 AI 研究，做到相當於 5 萬個 PhD 的知識和能力，再去攻物理、化學和生物。生物學的瓶頸是數據：需要做大量擾動實驗，敲掉一個基因或加入一個分子看細胞反應，積累到足夠多之後 AI 才可能學到背後的模式，就像從「我在紐約往北開」推出 Boston 一樣。最終目標是建一個虛擬細胞，讓 AI 在裡面反覆實驗。他提到 Tahoe Therapeutics 和 Parallel Bio 在做數據採集。
— Richard SocherAI 能不能治癌，取決於需求彈性
Socher 把 AI 對就業的影響歸結為產品價格下降時需求彈性有多大。插畫師恨 AI，因為一張插畫從 200 美元變成 2 美分，而世界不需要那麼多插畫，需求沒有漲一千倍。編程相反，價格下降後需求反而增加，也就是 Jevons 悖論，所以現在對程序員的需求更多了。回到癌症，他認為 AI 會在治癒多種癌症中起大作用，因為每種癌症都不是同質的，需要為每個人和每種亞型定製療法，這正是 AI 擅長的系統問題，但臨床試驗仍然要花很多年。
— Richard SocherAI 經濟學家被期刊直接拒稿
Socher 說經濟學沒有計算機科學那樣的客觀基準，所以容易變成政治場。他們用兩級強化學習做 AI 經濟學家，投稿到 Nature 和 Science 被直接拒稿，其中一次是一個不懂 AI 的倫理學家連全文都沒讀就拒了。他們的模擬裡，簡單 agent 有不同效用函數和工作時長，可以收集資源、建房、壟斷，一個 meta agent 決定如何徵稅和補貼，獎勵是平等乘以生產力。結果發現 agent 會通過把收益挪到稅年前後來避稅，而著名的 Saez 公式只在單步經濟裡最優。
— Richard SocherEureka Machine 的四根支柱
Socher 把 Eureka Machine 拆成四根支柱：第一是大語言模型，吸收世界知識；第二是現實模型，把科學測量數據（人類語言還沒描述或難以描述的部分）納入模型；第三是模擬，從圍棋、國際象棋到虛擬細胞，不同領域有不同抽象層級；第四是真實世界，必須做實驗驗證模擬裡漏掉的混雜變量。四根支柱之上是 agent swarm 和科學家社區。他特別指出，目前沒有任何一個團隊做出完整意義上的虛擬細胞。
— Richard Socher算力是最大約束，數據永遠有新來源
Socher 說算力是最大的約束，未來公司和國家都要決定哪個問題值得解決、給它多少算力，並會出現新的 scaling law。公共互聯網的大部分內容已經被各大實驗室消化，但總有新數據產生，比如新聞。他提到 y.com 與 Neolabs 等實驗室合作，在模型被問到上週剛發生的事時提供新的搜索結果。
— Richard Socher原話 · 已逐字校驗
Anything you can simulate, AI will solve. But before you know it, you're in this recursive self-improvement loop.
凡是你能模擬的東西，AI 都會解決。但不知不覺間，你就進入了遞歸自我改進的循環。
Richard Socher0:01
as there are more and more sub fields and niches, it's actually hard to have enough people in each of these sub fields
隨著子領域和細分方向越來越多，每個子領域裡其實很難有足夠多的人。
Richard Socher3:03
AI doesn't really care if it's English or a sequence of amino acids.
AI 其實不在乎它是英語還是一串氨基酸序列。
Richard Socher10:11
anything you can simulate AI will solve
凡是你能模擬的，AI 都會解決。
Richard Socher18:18
boy are we far away from the true upper bounds of any of the spaces of intelligence
天哪，我們距離任何智能空間的真正上限都還差得遠。
Richard Socher1:12:49
數字與實體
| Recursive 與 Amazon 的算力協議金額 | 4.1 億美元 | 1:06:45 |
| 經濟學家未能預測的衰退次數 | 過去 150 次衰退中有 148 次沒預測到 | 45:37 |
| AI 經濟學家論文投稿結果 | 被 Nature 和 Science 直接拒稿 | 45:37 |
| 插畫價格變化 | 從 200 美元一張降到 2 美分 | 35:29 |
| Progen 論文時間 | 2018 年 | 29:27 |
| The Eureka Machine 出版日期 | 9 月 22 日 | 1:13:49 |
術語
- recursive self-improvement遞歸自我改進
- AI 改進 AI 自身，形成不斷加速的循環。
- next-token prediction下一 token 預測
- 語言模型的基本訓練目標：預測序列中的下一個 token。
- Jevons paradox傑文斯悖論
- 資源使用效率提高後，總消耗量反而增加。
- virtual cell虛擬細胞
- 用模型完整模擬真實細胞行為的計算系統，目前尚不存在。
- open-endedness開放式演化
- 系統不斷產生新穎且不可預測的探索方向，類似生物演化。
收聽指南
關注 AI for Science、生物醫藥投資和 AI 基礎設施的創業者與投資人，尤其是想判斷遞歸自我改進時間線的人。
40:19 到 44:35 關於社會是否拒絕 AI 的討論，偏哲學，信息密度低。