單個神經元的含義沒有想像中混亂：智能體逐個審問找到答案
門控MLP讓神經元只在少數幾個含義間切換而非上百種混雜；AI智能體逐一做實驗驗證後，能用一段描述準確預測神經元的行為，推翻了「神經元太髒讀不懂」的舊說法。
原視頻在 YouTube 上放不出來，用音頻聽：
核心論點 · 時間戳為按文稿位置估算
單個神經元遠比學界以為的好懂
Tigges 的核心主張是：MLP 裡的單個神經元被此前的可解釋性研究低估了。早期網絡更小更亂，加上 ReLU/GELU 這類激活函數本身就難讀，於是業界默認「表徵是分布式的，不在單個神經元裡」，轉而依賴 SAE 這類輔助模型。他的反駁是：你往往不需要同時激活很多神經元；即便一個神經元有不止一種含義，那通常也是「一組緊湊的含義」，不是成百上千種無法窮舉的語義堆疊。
— Curt Tigges門控結構讓一個神經元能裝兩種意思
現代模型用的 SwiGLU 門控 MLP 給每個神經元兩條獨立信號：門投影和上投影的結果相乘，形成類似「與」邏輯的小電路。這讓同一個神經元能在不同語境下切換讀法——Tigges 舉的例子是一個神經元，一極代表「口腔健康」，另一極代表「海洋野生動物」，兩組完全不同的下游讀取神經元會被上下文提前「準備好」去接收對應信號，從而不會讀錯。
— Curt Tigges消融掉88%的激活，模型性能幾乎不掉
在 Qwen3.6-35B-A3B 上，團隊只保留每個被激活專家裡最強的 top-64（滿編512個神經元取64個），相當於抑制了約88%的激活，其餘置零；另一種做法是按神經元歷史百分位只保留極值，其餘替換為接近零的均值。結果是模型在許多基準上的表現和原始模型基本持平；唯一明顯受損的是推理能力——會陷入循環、反覆自我檢查——但只需少量後續微調就能把性能拉回原水平甚至更好。
— Curt Tigges少了內部噪聲，模型反而更自信
為什麼砍掉大部分神經元后，一些不涉及推理的基準分數反而變高？Tigges 解釋說這些基準看重模型多快給出答案，而內部可用來「分散注意力」的東西變少之後，模型沒那麼多東西互相干擾，最有把握的那個答案就會浮到最上面。對需要推理的任務，微調之後也出現同樣效果——模型更快找到它本來就知道的答案，而不是反覆自我懷疑。
— Curt Tigges用74%的KL散度還原驗證神經元假設
驗證一段神經元功能描述是否靠譜的方法是：先把該神經元從文本里完全消融，再讓另一個模型僅憑這段描述給每個token打0-9的預測激活分，把預測值貼回模型，看它多大程度上恢復了被破壞的下一詞預測分布（KL散度）。目前的主要指標是「按損傷程度加權」恢復了74%的KL散度——不是74%準確率，也不是「模型被理解了74%」，而是在神經元確實重要的位置，預測值基本頂上了真實激活的作用。
— Curt Tigges單語義多語義之爭，問錯了問題
Tigges 認為「這個神經元算單語義還是多語義」本身是個誤導性問題，真正該問的是能否把它表示的所有東西都列舉出來。他舉的假想例子是一個可能同時對衣物、健身器材、餐具、桌布都有反應的神經元——看起來很多義，但如果模型內部的統一概念其實是「車庫甩賣會上能看到的東西」，這種聯繫人類觀察者可能永遠發現不了。很多神經元更適合被理解成動詞而不是名詞：它們不是在偵測某個實體，而是向下遊發信號，觸發推理裡的等待、複查、改變方向等控制流動作。
— Curt Tigges事實不在神經元裡，在連接裡
Tigges 指出一個反直覺的問題：模型有500萬個神經元，記住的事實顯然遠不止500萬條，原因是一個神經元不是一個事實，事實存在於神經元之間的連接裡——幾十個神經元互相連接能組合出的路徑數量是指數級的。他舉的例子是一個由幾十個神經元組成的小「社區」，專門編碼哪些畫家屬於印象派、新印象派還是後印象派。被檢驗過的專家（experts）也呈現出很強的話題一致性，基本只涉及一到三個主題。
— Curt Tigges1億token的微調就能找回丟失的推理能力
稀疏化之後模型推理能力下降，表現為陷入循環、反覆自我檢查、拿不準答案，但 Tigges 說這不是知識丟失，而是某種「校準」出了問題——團隊只用了大約1億token、幾塊GPU、一天之內的後續微調，就把性能拉回甚至部分超過原始水平，在數學、代碼、醫學問答等基準上都驗證了這一點。他特意強調這遠小於常規後訓練規模，更遠小於預訓練規模，說明被砍掉的那90%激活影響的只是模型能否順利找到答案，而不是它是否知道答案。
— Curt Tigges原話 · 已逐字校驗
the individual neurons in MLPs in neural networks in general are more interpretable than the field has thought to this point.
MLP裡的單個神經元，神經網絡裡的神經元整體，都比這個領域此前以為的更容易解讀。
Curt Tigges7:18
there's a neuron where the one meaning is oral health and the other meaning is marine wildlife.
有一個神經元，一個含義是口腔健康，另一個含義是海洋野生動物。
Curt Tigges18:04
It doesn't have as much internally to distract itself from the right answer, and the most confident thing rises to the top.
它內部沒那麼多東西可以讓自己分心偏離正確答案，於是最有把握的那個答案就會浮到最上面。
Curt Tigges37:32
as we apply increasing levels of intelligence, then more and more of what the neuron is doing becomes legible and predictable.
隨著我們投入的智能程度不斷提高，這個神經元在做什麼就會變得越來越清晰、越來越可預測。
Curt Tigges45:59
It's not just detecting a thing. It's like sending a signal that is going to induce the model to do something else.
它不只是在偵測某個東西，而更像是在發送一個信號，促使模型去做別的事情。
Curt Tigges1:02:16
A neuron is not a fact, but the fact is in the connections between neurons.
一個神經元不是一個事實，但事實就存在於神經元之間的連接裡。
Curt Tigges1:21:31
They're, like, mostly about one to three topics, and that's it.
它們基本上只涉及一到三個主題，僅此而已。
Curt Tigges1:25:25
數字與實體
| Qwen3.6-35B-A3B 神經元總數 | 約500萬個 | 12:26 |
| 專家層結構 | 每層256個專家選8個，每個專家512個神經元 | 12:26 |
| Top-64稀疏化抑制的激活比例 | 約88% | 29:20 |
| 神經元模擬還原的KL散度 | 74%（按損傷程度加權） | 51:09 |
| 單個神經元分析的最高推理成本 | 45美元 | 1:48:05 |
| 提取激活樣本的語料庫規模 | 100億token | 35:54 |
術語
- gated MLP (SwiGLU)門控MLP（SwiGLU架構）
- 用門投影和上投影兩組獨立參數相乘，讓神經元具備類似「與」邏輯的組合能力
- monosemanticity單語義性
- 指一個神經元是否只對應單一概念，而非混雜多個含義
- ablation消融（屏蔽實驗）
- 強制讓神經元失活或替換為均值，觀察模型性能變化的實驗手法
- SAE (sparse autoencoder)稀疏自編碼器
- 此前用來從模型內部激活中提取「可解釋特徵」的輔助模型
- neuron scientist神經元科學家（智能體）
- 作者搭建的AI agent，自動聚類神經元激活樣本並生成、驗證其功能假設
收聽指南
做模型可解釋性、安全監控或後訓練調優的工程師和研究者，想知道能否繞開輔助模型直接讀懂神經元。
開場到05:55是主持人對全集內容的預告性總結，與後文重複，可直接跳過。