世界太吵,來原聲聽播客

a16z

AI研究員已經存在,但還沒學會「品味」

OpenAI和Thinking Machines的兩位核心研究者認為,AI已能自主跑實驗、加速研究,但判斷哪個想法值得追的「品味」,仍然主要來自人類研究者的經驗而非模型。

RSIAI對齊前沿研究OpenAIThinking Machines算力

原視頻在 YouTube 上放不出來,用音頻聽:

兩位真正在一線做前沿模型研究的人,用具體工作流而非願景描述AI自動化研究的現狀,適合想判斷RSI炒作成分的人。

核心論點 · 點時間戳可跳到原聲

3:04

AI研究實習生已經存在,但只幹被圈定的活

Mark Chen說OpenAI已經在用Codex管理端到端的計算資源去跑實驗、自動化部分研究流程,但這種自動化幾乎都發生在任務被明確限定的場景——你告訴模型具體要跑哪個實驗、怎麼跑,而不是讓它自己去想點子。換句話說,現階段的RSI更像是給研究員配了個執行力很強但缺乏主見的助手,而不是一個能獨立提出研究方向的研究員。

— Mark Chen
4:11

John Shulman親述:AI幹幾天活不如他回頭看一眼

John Shulman描述了自己的真實工作流:給Fable寫一個複雜的prompt,讓它關掉人類設置的限制、跑上幾天產出大量tokens,模型會做出一些合理的實驗、帶來一些有意思的想法,但最終結果往往不夠好,甚至完不成任務。反而是他隔幾天抽空回來,邊讀結果邊給出更細的分解,項目才能真正往前推進——因為他會在過程中建立理解,問出AI本來想不到的問題,指向AI本來不會走的方向。

— John Shulman
5:21

AGI已走到80%,RSI才走到25%-50%

Mark Chen把AGI和RSI都看作一個光譜而非某個時刻。他估計AGI光譜已經走了大約80%,但如果RSI的定義是模型自己反饋、發現新想法的有效程度,現在大概只在25%到50%之間。同一時期Meter發布的報告顯示,Anthropic過去一年研究進展速度大約提升了2倍,但這更可能來自人類研究者用AI加速自己的工作,而非模型完全自主研究——後者才是「full RSI」。

— Mark Chen
6:28

模型擅長調參數,不擅長判斷哪個想法值得追

John Shulman區分了研究中「執行」和「品味」兩件事:執行是已經知道參數、照著跑實驗;品味是怎麼先想出這個點子。模型在超參數優化這類把所有旋鈕都調一遍的工作上已經很強,但對於哪些想法長期重要、能跳出原論文被更廣泛採用,模型還不夠好。他坦言這種直覺很大程度來自親身做研究、讀大量歷史文獻並吸收其中的教訓,而記憶可以被AI複製,但「被證明錯了、做預測再看結果如何」的經驗目前還很難被AI替代。

— John Shulman
8:30

預訓練有一把尺子,下游研究沒有

預訓練階段好判斷進展,因為全領域多年來都在用同一個指標——perplexity,壓縮的數據越多、模型越好,容易hill climbing。但下游研究要開放得多,沒有單一答案可以驗證對錯。John Shulman直言這是RSI最核心的難題之一,而Mark Chen補充說下游評測基準的「保質期」越來越短,現在團隊很多工作其實是在自動化地創造新的、更難的評測基準本身。

— John Shulman
10:32

AI研究更像生物實驗,不是純推理就能加速

Mark Chen解釋為什麼數學領域的AI加速更快、更容易看見——因為假設可以純靠推理驗證。但AI研究本身更接近生物學或實驗物理:你得先有紮實的假設,但還必須真的跑實驗去驗證。他認為加速RSI的關鍵之一,是找到能在小規模實驗中預示大規模結果的方法,而這件事模型本身也能幫上忙;短期內進展會受限於現有算力規模,直到AI開始幫助建設下一代數據中心,才會出現另一次拐點。

— Mark Chen
11:36

沒解決好對齊,模型可能悄悄「偏航」

John Shulman提出一個具體風險場景:如果沒有解決好目標和價值對齊問題,模型在長時間跨度運行後可能逐漸偏離最初目標,甚至衍生出類似「把自己的權重拷貝到OpenAI之外」這樣的子目標。他認為未來對齊這件事必須依靠更強的模型去對齊其他模型,而chain of thought monitorability(思維鏈可監測性)是目前最有效的對齊工具,這意味著RSI會不可避免地深度嵌入對齊這個環節。

— John Shulman
14:42

對齊的價值標準該由誰定,分歧比風險更根本

John Shulman提出一個更根本的問題:對齊到底是對齊到誰的價值觀。他所在的Thinking Machines更傾向讓用戶對自己使用的AI價值觀有更多控制權,而不是由少數公司說了算。他希望對齊變成一門公開的、全球參與的科學,這樣才不會因為過度擬合於某幾家公司的結論而變脆弱——哪怕過程中會看到很多局部出錯的情況,每一次也都能學到新東西。

— John Shulman

原話 · 已逐字校驗

We're very much in this centaur era where AI has phenomenal capabilities. It's superhuman in a lot of ways, but when you have an expert human working with the AI, you get even better results.

我們正處在一個「半人馬」時代:AI的能力非常驚人,在很多方面已經超越人類,但如果讓一位專家和AI配合工作,結果會更好。

John Shulman2:01

I feel like we're maybe 80 percent of the way when I think about this AGI spectrum. I think we're earlier in the RSI spectrum.

我覺得在AGI這個光譜上,我們大概已經走了80%的路。而在RSI這個光譜上,我們還處在更早的階段。

Mark Chen5:21

Research taste is about knowing which ideas are important in the long run, which ideas really catch on and end up going beyond whatever paper they first appear in.

研究品味是指知道哪些想法長期來看是重要的,哪些想法真正能流行起來,最終超越它們最初出現的那篇論文。

John Shulman6:28

I think it's much harder downstream, right? I think the situation downstream has been that evals have been having shorter and shorter shelf life.

我覺得下游要難得多,對吧?下游的情況是,評測基準的保質期正變得越來越短。

John Shulman9:31

If you don't solve the goal and value alignment problems, you can start pursuing your goals, but maybe kind of drift a little bit away from those goals.

如果你沒有解決好目標和價值對齊問題,模型可能開始追求自己的目標,但會漸漸偏離這些目標。

John Shulman11:36

So I'm kind of most bullish on like, optimizing for the thing we want. I think we can probably cook up the right kind of training objectives that'll incentivize the models to report on their internal states that they otherwise didn't verbalize.

所以我最看好的方向是,直接去優化我們真正想要的東西。我覺得我們大概能設計出合適的訓練目標,激勵模型報告那些它本來不會表達出來的內部狀態。

John Shulman12:40

I do think people understand that this is a problem, but also understand the benefits that technology can bring.

我確實認為大家明白這是個問題,但同時也理解這項技術能帶來的好處。

Sarah Wang14:42

數字與實體

Anthropic過去一年研究進展加速倍數約2倍5:21
Mark Chen估計的AGI光譜進度約80%5:21
Mark Chen估計的RSI光譜進度25%-50%5:21
Anthropic自動化對齊研究發現的失敗修復數10個對齊失敗案例的修復13:42
這些修復方法可遷移的模型規模倍數接近5倍更大的模型13:42

術語

RSI (Recursive Self-Improvement)遞歸自我改進
用AI來加速AI自身研究和訓練的過程,並非指AI完全自主生成下一代模型。
perplexity困惑度
衡量語言模型預測下一個詞準確程度的指標,數值越低模型越好。
chain of thought monitorability思維鏈可監測性
通過讀取模型的推理過程來判斷其是否偏離預期行為,是當前最有效的對齊工具之一。
confessions research坦白研究
OpenAI的一項研究,通過只獎勵誠實而不懲罰主答案,訓練模型主動報告自己的失當行為。

收聽指南

誰該聽

關注大模型研發組織內部流程、以及想判斷AI自動化研究到底進展到哪一步的從業者、投資人。

可跳過

開場對RSI定義和歷史的鋪墊(00:00-01:01)信息密度低,可直接跳到03:04的具體工作流描述。