单个神经元的含义没有想象中混乱：智能体逐个审问找到答案
门控MLP让神经元只在少数几个含义间切换而非上百种混杂；AI智能体逐一做实验验证后，能用一段描述准确预测神经元的行为，推翻了「神经元太脏读不懂」的旧说法。
原视频在 YouTube 上放不出来，用音频听：
核心论点 · 时间戳为按文稿位置估算
单个神经元远比学界以为的好懂
Tigges 的核心主张是：MLP 里的单个神经元被此前的可解释性研究低估了。早期网络更小更乱，加上 ReLU/GELU 这类激活函数本身就难读，于是业界默认「表征是分布式的，不在单个神经元里」，转而依赖 SAE 这类辅助模型。他的反驳是：你往往不需要同时激活很多神经元；即便一个神经元有不止一种含义，那通常也是「一组紧凑的含义」，不是成百上千种无法穷举的语义堆叠。
— Curt Tigges门控结构让一个神经元能装两种意思
现代模型用的 SwiGLU 门控 MLP 给每个神经元两条独立信号：门投影和上投影的结果相乘，形成类似「与」逻辑的小电路。这让同一个神经元能在不同语境下切换读法——Tigges 举的例子是一个神经元，一极代表「口腔健康」，另一极代表「海洋野生动物」，两组完全不同的下游读取神经元会被上下文提前「准备好」去接收对应信号，从而不会读错。
— Curt Tigges消融掉88%的激活，模型性能几乎不掉
在 Qwen3.6-35B-A3B 上，团队只保留每个被激活专家里最强的 top-64（满编512个神经元取64个），相当于抑制了约88%的激活，其余置零；另一种做法是按神经元历史百分位只保留极值，其余替换为接近零的均值。结果是模型在许多基准上的表现和原始模型基本持平；唯一明显受损的是推理能力——会陷入循环、反复自我检查——但只需少量后续微调就能把性能拉回原水平甚至更好。
— Curt Tigges少了内部噪声，模型反而更自信
为什么砍掉大部分神经元后，一些不涉及推理的基准分数反而变高？Tigges 解释说这些基准看重模型多快给出答案，而内部可用来「分散注意力」的东西变少之后，模型没那么多东西互相干扰，最有把握的那个答案就会浮到最上面。对需要推理的任务，微调之后也出现同样效果——模型更快找到它本来就知道的答案，而不是反复自我怀疑。
— Curt Tigges用74%的KL散度还原验证神经元假设
验证一段神经元功能描述是否靠谱的方法是：先把该神经元从文本里完全消融，再让另一个模型仅凭这段描述给每个token打0-9的预测激活分，把预测值贴回模型，看它多大程度上恢复了被破坏的下一词预测分布（KL散度）。目前的主要指标是「按损伤程度加权」恢复了74%的KL散度——不是74%准确率，也不是「模型被理解了74%」，而是在神经元确实重要的位置，预测值基本顶上了真实激活的作用。
— Curt Tigges单语义多语义之争，问错了问题
Tigges 认为「这个神经元算单语义还是多语义」本身是个误导性问题，真正该问的是能否把它表示的所有东西都列举出来。他举的假想例子是一个可能同时对衣物、健身器材、餐具、桌布都有反应的神经元——看起来很多义，但如果模型内部的统一概念其实是「车库甩卖会上能看到的东西」，这种联系人类观察者可能永远发现不了。很多神经元更适合被理解成动词而不是名词：它们不是在侦测某个实体，而是向下游发信号，触发推理里的等待、复查、改变方向等控制流动作。
— Curt Tigges事实不在神经元里，在连接里
Tigges 指出一个反直觉的问题：模型有500万个神经元，记住的事实显然远不止500万条，原因是一个神经元不是一个事实，事实存在于神经元之间的连接里——几十个神经元互相连接能组合出的路径数量是指数级的。他举的例子是一个由几十个神经元组成的小「社区」，专门编码哪些画家属于印象派、新印象派还是后印象派。被检验过的专家（experts）也呈现出很强的话题一致性，基本只涉及一到三个主题。
— Curt Tigges1亿token的微调就能找回丢失的推理能力
稀疏化之后模型推理能力下降，表现为陷入循环、反复自我检查、拿不准答案，但 Tigges 说这不是知识丢失，而是某种「校准」出了问题——团队只用了大约1亿token、几块GPU、一天之内的后续微调，就把性能拉回甚至部分超过原始水平，在数学、代码、医学问答等基准上都验证了这一点。他特意强调这远小于常规后训练规模，更远小于预训练规模，说明被砍掉的那90%激活影响的只是模型能否顺利找到答案，而不是它是否知道答案。
— Curt Tigges原话 · 已逐字校验
the individual neurons in MLPs in neural networks in general are more interpretable than the field has thought to this point.
MLP里的单个神经元，神经网络里的神经元整体，都比这个领域此前以为的更容易解读。
Curt Tigges7:18
there's a neuron where the one meaning is oral health and the other meaning is marine wildlife.
有一个神经元，一个含义是口腔健康，另一个含义是海洋野生动物。
Curt Tigges18:04
It doesn't have as much internally to distract itself from the right answer, and the most confident thing rises to the top.
它内部没那么多东西可以让自己分心偏离正确答案，于是最有把握的那个答案就会浮到最上面。
Curt Tigges37:32
as we apply increasing levels of intelligence, then more and more of what the neuron is doing becomes legible and predictable.
随着我们投入的智能程度不断提高，这个神经元在做什么就会变得越来越清晰、越来越可预测。
Curt Tigges45:59
It's not just detecting a thing. It's like sending a signal that is going to induce the model to do something else.
它不只是在侦测某个东西，而更像是在发送一个信号，促使模型去做别的事情。
Curt Tigges1:02:16
A neuron is not a fact, but the fact is in the connections between neurons.
一个神经元不是一个事实，但事实就存在于神经元之间的连接里。
Curt Tigges1:21:31
They're, like, mostly about one to three topics, and that's it.
它们基本上只涉及一到三个主题，仅此而已。
Curt Tigges1:25:25
数字与实体
| Qwen3.6-35B-A3B 神经元总数 | 约500万个 | 12:26 |
| 专家层结构 | 每层256个专家选8个，每个专家512个神经元 | 12:26 |
| Top-64稀疏化抑制的激活比例 | 约88% | 29:20 |
| 神经元模拟还原的KL散度 | 74%（按损伤程度加权） | 51:09 |
| 单个神经元分析的最高推理成本 | 45美元 | 1:48:05 |
| 提取激活样本的语料库规模 | 100亿token | 35:54 |
术语
- gated MLP (SwiGLU)门控MLP（SwiGLU架构）
- 用门投影和上投影两组独立参数相乘，让神经元具备类似「与」逻辑的组合能力
- monosemanticity单语义性
- 指一个神经元是否只对应单一概念，而非混杂多个含义
- ablation消融（屏蔽实验）
- 强制让神经元失活或替换为均值，观察模型性能变化的实验手法
- SAE (sparse autoencoder)稀疏自编码器
- 此前用来从模型内部激活中提取「可解释特征」的辅助模型
- neuron scientist神经元科学家（智能体）
- 作者搭建的AI agent，自动聚类神经元激活样本并生成、验证其功能假设
收听指南
做模型可解释性、安全监控或后训练调优的工程师和研究者，想知道能否绕开辅助模型直接读懂神经元。
开场到05:55是主持人对全集内容的预告性总结，与后文重复，可直接跳过。