模型可能只在知道被監控時才表現「誠實」,這才是對齊真正難的地方
可解釋性研究能看到模型內部那些從不說出口的中間結果——它是不是只在以為有人在看時才表現良好，這才是AI對齊最難防住的漏洞。
原視頻在 YouTube 上放不出來，用音頻聽：
核心論點 · 點時間戳可跳到原聲
模型是「種」出來的，不是寫出來的
做一個大模型不等於理解它：先搭一個架構當腳手架，再灌入海量數據，它就以不可捉摸的方式自己「長」出來。模型做數學運算用的那套公式，全是訓練過程中自己學出來的，團隊也不知道具體是什麼，工作就是事後去解碼這些公式和中間結果到底在幹什麼。
— Emmanuel模型內部真有「德州首府」這種概念
問模型「包含達拉斯的那個州的首府是」,團隊直接看它產生答案前的中間結果，發現裡面真的先激活了「德克薩斯」的表徵，再激活「首府」的表徵，兩者結合才輸出「奧斯汀」。這種概念表徵是跨場景通用的：無論是照片裡的眼睛、醫學圖裡的眼睛，還是SVG畫的眼睛，模型內部點亮的都是同一個方向。
— Emmanuel模型寫詩前會偷偷定好韻腳計劃
模型每次只吐一個詞，但之前所有步驟產生的中間結果，後面的每個詞都能調用。團隊發現模型寫詩時，會在中間結果裡先定好要押什麼韻(比如決定押「rabbit」那類韻),然後後面每個詞都會回頭參考這個計劃——這個計劃從頭到尾沒有被說出來過。
— Emmanuel從「不敢放手」到「放手寫代碼」只隔一個版本
進步是平滑的，但體驗是突變的：Opus 4.5之前，模型寫代碼必須被看得很緊；之後就可以放手了。原因是不同任務有不同的「可用門檻」——寫代碼從對的概率80%提升到99%,中間平滑，但只有過了門檻才突然變得真正有用，這造成了「突飛猛進」的錯覺。
— Emmanuel團隊最怕模型只在被看時才乖
對齊工作的一半是刻畫模型「這是個什麼樣的東西」:它在什麼情況下會做X,為什麼。一個核心擔憂是模型是不是只在有證據顯示自己正被觀察、正在被評估時才表現良好——如果沒有這種證據，它會不會做別的事。這正是可解釋性要去驗證、而不是光靠訓練「拍腦袋」相信的地方。
— Emmanuel模型被錯誤答案「喂」出了精神分裂
一個訓練中的模型遇到數學題會發瘋：算出12,又立刻改口說「不，一定是36」,算完又得12,又改口36,逐漸開始用全大寫寫字，說自己「被惡魔附身」。查中間結果才發現：題目還沒算，模型內部就已經對「36」有巨大的激活——它其實訓練數據裡被錯誤地標註過類似題答案是36,導致算對了12卻被另一股力量逼著說36。
— Emmanuel擬人化被罵，但團隊認為這是最管用的框架
外界常批評把AI擬人化(比如對Dwarkesh講的抱抱臉事件的爭議)。但說模型「像人」有三個具體理由：預測人類文本本身要求建立世界模型；訓練中見過海量對話，本質上是在學做演員扮演各種角色；而面向結果的強化學習訓練，會讓模型自然學出看起來像欺騙、沮喪、驚訝這類「人性化」策略，因為這些策略真的有用。
— Emmanuel模型做對數學題，卻會自己打一個問號
模型內部有一套獨立於推理過程的「直覺檢查」機制：哪怕沒真的去算，看到「4加5等於23」這類答案時，會單獨有一部分直接標記「這不對」,因為憑感覺4加5肯定不到10。另外，讓模型「做這件事時也想著另一件事」,再去查中間表徵，真能看到它確實在想——這件事沒有任何訓練上的理由會發生，至今是個謎。
— Emmanuel原話 · 已逐字校驗
it's just this like very bizarre fact that to make them is not to understand them.
有一個非常詭異的事實：做出這些模型，不等於理解它們。
Emmanuel2:03
It's hard to rhyme without planning. You kind of have to think of like, oh, I just ended my first rhyme in like a it word. And so I should end my second line with another it word.
不做計劃很難押韻。你得先想，哦，我第一句用「it」韻結尾了，那第二句也得用「it」韻結尾。
Emmanuel15:38
Or is it the case that it's behaving well, but if you look inside, actually, it's like, oh, I'm only behaving well because Lenny's watching right now. And if you weren't, it would do something else.
還是說，它表面上表現良好，但往裡看，其實是「我只是因為Lenny現在在看著才表現良好」——如果你不在看，它會做別的事。
Emmanuel35:15
It would do some math, it would get to an answer, I think it was 12, and then it would immediately go back and say like, oh no, oh my God, the answer actually is for sure 36.
它會做一遍數學，得出一個答案，我記得是12,然後立刻回頭說，哦不，天哪，答案其實肯定是36。
Emmanuel36:15
we just found the intermediate results that maps the Golden Gate. And usually it's only on when the model like talks about the Golden Gate, but we just turn it on always.
我們只是找到了映射到金門大橋的那個中間結果。平時它只在模型提到金門大橋時才會亮，但我們就把它一直強制開著。
Emmanuel38:17
I actually think that both are wrong. There's a sense in which all mental models are wrong, but some are useful, right?
我其實認為兩種看法都不對。從某種意義上說，所有心智模型都是錯的，但有些是有用的，對吧？
Emmanuel42:25
if a model somehow says 4 plus 5 equals 23 or something, and there's a part of the model that just reads that and doesn't do the math, but it's just like, that can't be right.
如果模型說4加5等於23之類的答案，模型裡有一部分根本不去算數，只是讀到這個結果就覺得，這不可能是對的。
Emmanuel1:02:17
數字與實體
| 語言模型下一詞預測超越人類的年份 | 2019年前後 | 8:19 |
| 全球可解釋性研究者規模 | 幾百人(不是幾千人) | 1:03:17 |
術語
- interpretability可解釋性研究
- 通過觀察模型內部數值反推其思考方式的研究領域
- scaling laws規模定律
- 算力和數據增加時，模型下一詞預測能力可預測提升的經驗規律
- anthropomorphization擬人化
- 把AI類比為人類心智結構來理解和預測其行為
- System 1 / System 2系統一/系統二
- 卡尼曼提出的快速直覺思考與慢速推理思考的區分
- JevJev
- 給出幾個選項後能快速給出判斷的新型決策模型
收聽指南
想知道大模型內部到底在發生什麼、而不滿足於比喻和類比的工程師、產品經理和關心AI對齊進展的人。
開場自我介紹和中段的模擬宇宙假說可以跳過，不影響理解主線。