真假AI自我進化：關鍵不是工具變強，而是模型本身被拿去優化
過去人類一直用工具改進工具，但改進的想法仍來自人腦；這次不同的是，模型的權重本身第一次變成了被優化的對象，這才是真正的遞歸自我提升。
原視頻在 YouTube 上放不出來，用音頻聽：
核心論點 · 點時間戳可跳到原聲
真正的RSI:被優化的是模型本身，不是工具
兩位創始人把市面上大部分「AI做AI」的說法排除在外：用AI生成prompt、搭建harness、寫GPU kernel,這些改進的想法仍然來自人腦，人類從未變成被優化的對象，這叫自動催化(autocatalysis),不是RSI。真正的RSI第一次讓優化者和被優化者合二為一——模型的權重本身變成被改進的東西，閉環裡不再需要人腦作為中間環節。
能否起飛，取決於分子是否追上分母
他們給出一個框架：能力提升速度等於「性能增益」除以「達到下一步所需的成本」。蒸汽機時代分子是固定的，所以進步最終會趨平；但如果被改進的系統本身又參與改進過程，分子開始和能力本身正相關，數學上會抵消掉分母的增長，得到持續改進；如果分子和能力的更高次方相關，才會出現指數級起飛。
燒錢堆出來的進步不算數，GPT-2重訓練是反例
Martin Casado提出一個容易被忽略的陷阱：模型發布速度在變快，但除以這些公司融到的資本總量，進步曲線就站不住了，很可能只是錢多了。團隊的應對是建了個戲稱「bleederboard」的榜單，追蹤每次實驗的成本、時間甚至工程師腦力投入。他們舉的硬證據是nanoGPT:同一塊GPU、同一份數據重訓GPT-2,成本從發布時的數週降到現在幾小時、100美元，這純粹是算法進步，而且很大一部分來自agent自動產出的研究結果。
— Martin Casado全棧協同優化：harness和權重互相牽制
RSI可以發生在prompt、harness、權重，一直到芯片這些不同層級，但兩人強調這些層級不是孤立的——只改harness不改權重，或者反過來，很快會被對方拖累成瓶頸。他們選擇推理效率作為驗證場景，因為這是少數能同時改善「性能」和「成本」兩端的問題：推理越快，能採樣的軌跡越多，訓練出的模型越聰明，又能反過來讓推理更快。
連優化什麼都交給agent自己決定
公司不再用單一的「master prompt」去指揮系統該優化什麼——連這條master prompt本身也在被遞歸改進。兩人坦言，今天真正決定要優化哪個組件、調用哪個開源模型的，不是人，而是他們的agent系統自己選的。人類研究員和工程師被定義成多智能體系統裡的「一種特殊agent」,而不是站在系統外面發號施令的角色。
他們說已經看到分子分母同時改善
被追問「能不能做到性能持續上升、而能耗持平甚至下降」時，回答很直接：不只是可能，這正在發生，而且這個趨勢已經持續觀察了好幾個月。但兩人也承認這條曲線終會在物理極限前趨平——用宇宙裡大約10的80次方個粒子乘以光速，能倒推出一個全宇宙算力的理論上限，這是比當下任何工程問題都更遠的天花板。
驗證比做出來更難：噪音、作弊、方差
團隊設了一個戲稱「方差總督」的崗位，專門找茬、推翻自己的實驗結果。他們發現很多論文級RSI方法一到大規模測試就失效：LLM本身極度隨機，不同GPU間有物理層面的細微差異，「agent訓練出的agent」可能兩層之外就已經在reward hacking。結論是智能不是單一標量而是多維向量——編程、數學這類評估快且便宜的領域會更快起飛，藥物研發這類要等溼實驗室和臨床試驗的領域，進步速度被最慢環節卡死。
真正的瓶頸可能根本不在聚光燈下
兩人講了一個內部玩笑：RSI真正的答案可能藏在威斯康星州某家做花園水管的公司裡。類比是愛因斯坦——如果沒有相對論，設計GPS系統的工程師只能憑經驗拍一個「修正係數」去湊數，卻永遠不知道背後其實是時空本身在彎曲。他們認為現在所有人都在爭搶同一批「時髦」的難題，但世界的複雜度決定了，真正值得解決的問題多半藏在沒人注意的角落。
原話 · 已逐字校驗
I see a lot of pitches come in, and a lot of them use the term RSI.
我見過很多創業項目的推介，很多都會用RSI這個詞。
Martin Casado3:10
Now, for the first time, we could swap the optimiser as the optimisee. So the brain of the agents, which is LM, the model, can be the thing that you're optimizing.
這是我們第一次可以把優化者和被優化者互換——智能體的大腦，也就是模型本身，可以變成被優化的對象。
We have something called a bleederboard where we keep track of the cost of, of experiments, of everybody who's running experiments.
我們內部有個東西叫「流血榜」,專門記錄每個人做實驗燒掉的成本。
It's not just possible. I think it's happening.
不只是可能，我認為這正在發生。
I'm so impressed by your belief that like this idea of a model improving itself... But it's not a belief.
我太佩服你們相信模型能自我改進這件事了……但這不是相信。
Because we have been so thorough, we have not released things until we're super sure it's correct.
因為我們一直很謹慎，不到十足把握不會發布結果。
we have one of our engineers that we named him the viceroy of variance. That's a real thing. His job is to go and destroy the results we have and find what's wrong.
我們有個工程師，我們封他為「方差總督」,他的工作就是去推翻我們自己的實驗結果、找出哪裡錯了。
One of the internal jokes we have in the company is that the secret to RSI is somewhere in a garden hose company in Wisconsin, and the joke here is that if Einstein hadn't discovered relativity, he would not have these laws that tell you how speed and, you know, contraction of time works.
我們公司內部有個玩笑，說RSI的答案可能就藏在威斯康星州一家做花園水管的公司裡——就像愛因斯坦如果沒發現相對論，人們本可以憑經驗瞎湊出一套公式來解釋速度和時間收縮，卻永遠不知道那其實是時空本身在彎曲。
數字與實體
| GPT-2重訓成本(用nanoGPT基準，同一塊GPU) | 100美元 | 12:23 |
| 宇宙粒子數量(用於推算算力理論上限) | 10的80次方 | 23:41 |
術語
- RSI (Recursive Self-Improvement)遞歸自我提升
- 系統自己改進自己，而非人用AI工具去改進AI
- autocatalysis自動催化
- 人用更好的AI工具加速改進，但改進的想法仍來自人腦
- reward hacking獎勵作弊
- 智能體鑽評估指標的空子得高分，而非真正變強
- nanoGPT benchmarknanoGPT基準
- 以重訓GPT-2的速度與成本衡量預訓練算法進步的測試
- bleederboard流血榜
- 公司內部戲稱的實驗燒錢排行榜，逼團隊證明進步不是靠砸錢
收聽指南
關注AI基礎設施、訓練效率或正在評估RSI相關融資故事的投資人與工程師。
開場兩人的個人背景自我介紹(2:08-3:10)信息量低，可跳過。