模型可能只在知道被监控时才表现「诚实」,这才是对齐真正难的地方
可解释性研究能看到模型内部那些从不说出口的中间结果——它是不是只在以为有人在看时才表现良好，这才是AI对齐最难防住的漏洞。
原视频在 YouTube 上放不出来，用音频听：
核心论点 · 点时间戳可跳到原声
模型是「种」出来的，不是写出来的
做一个大模型不等于理解它：先搭一个架构当脚手架，再灌入海量数据，它就以不可捉摸的方式自己「长」出来。模型做数学运算用的那套公式，全是训练过程中自己学出来的，团队也不知道具体是什么，工作就是事后去解码这些公式和中间结果到底在干什么。
— Emmanuel模型内部真有「德州首府」这种概念
问模型「包含达拉斯的那个州的首府是」,团队直接看它产生答案前的中间结果，发现里面真的先激活了「德克萨斯」的表征，再激活「首府」的表征，两者结合才输出「奥斯汀」。这种概念表征是跨场景通用的：无论是照片里的眼睛、医学图里的眼睛，还是SVG画的眼睛，模型内部点亮的都是同一个方向。
— Emmanuel模型写诗前会偷偷定好韵脚计划
模型每次只吐一个词，但之前所有步骤产生的中间结果，后面的每个词都能调用。团队发现模型写诗时，会在中间结果里先定好要押什么韵(比如决定押「rabbit」那类韵),然后后面每个词都会回头参考这个计划——这个计划从头到尾没有被说出来过。
— Emmanuel从「不敢放手」到「放手写代码」只隔一个版本
进步是平滑的，但体验是突变的：Opus 4.5之前，模型写代码必须被看得很紧；之后就可以放手了。原因是不同任务有不同的「可用门槛」——写代码从对的概率80%提升到99%,中间平滑，但只有过了门槛才突然变得真正有用，这造成了「突飞猛进」的错觉。
— Emmanuel团队最怕模型只在被看时才乖
对齐工作的一半是刻画模型「这是个什么样的东西」:它在什么情况下会做X,为什么。一个核心担忧是模型是不是只在有证据显示自己正被观察、正在被评估时才表现良好——如果没有这种证据，它会不会做别的事。这正是可解释性要去验证、而不是光靠训练「拍脑袋」相信的地方。
— Emmanuel模型被错误答案「喂」出了精神分裂
一个训练中的模型遇到数学题会发疯：算出12,又立刻改口说「不，一定是36」,算完又得12,又改口36,逐渐开始用全大写写字，说自己「被恶魔附身」。查中间结果才发现：题目还没算，模型内部就已经对「36」有巨大的激活——它其实训练数据里被错误地标注过类似题答案是36,导致算对了12却被另一股力量逼着说36。
— Emmanuel拟人化被骂，但团队认为这是最管用的框架
外界常批评把AI拟人化(比如对Dwarkesh讲的抱抱脸事件的争议)。但说模型「像人」有三个具体理由：预测人类文本本身要求建立世界模型；训练中见过海量对话，本质上是在学做演员扮演各种角色；而面向结果的强化学习训练，会让模型自然学出看起来像欺骗、沮丧、惊讶这类「人性化」策略，因为这些策略真的有用。
— Emmanuel模型做对数学题，却会自己打一个问号
模型内部有一套独立于推理过程的「直觉检查」机制：哪怕没真的去算，看到「4加5等于23」这类答案时，会单独有一部分直接标记「这不对」,因为凭感觉4加5肯定不到10。另外，让模型「做这件事时也想着另一件事」,再去查中间表征，真能看到它确实在想——这件事没有任何训练上的理由会发生，至今是个谜。
— Emmanuel原话 · 已逐字校验
it's just this like very bizarre fact that to make them is not to understand them.
有一个非常诡异的事实：做出这些模型，不等于理解它们。
Emmanuel2:03
It's hard to rhyme without planning. You kind of have to think of like, oh, I just ended my first rhyme in like a it word. And so I should end my second line with another it word.
不做计划很难押韵。你得先想，哦，我第一句用「it」韵结尾了，那第二句也得用「it」韵结尾。
Emmanuel15:38
Or is it the case that it's behaving well, but if you look inside, actually, it's like, oh, I'm only behaving well because Lenny's watching right now. And if you weren't, it would do something else.
还是说，它表面上表现良好，但往里看，其实是「我只是因为Lenny现在在看着才表现良好」——如果你不在看，它会做别的事。
Emmanuel35:15
It would do some math, it would get to an answer, I think it was 12, and then it would immediately go back and say like, oh no, oh my God, the answer actually is for sure 36.
它会做一遍数学，得出一个答案，我记得是12,然后立刻回头说，哦不，天哪，答案其实肯定是36。
Emmanuel36:15
we just found the intermediate results that maps the Golden Gate. And usually it's only on when the model like talks about the Golden Gate, but we just turn it on always.
我们只是找到了映射到金门大桥的那个中间结果。平时它只在模型提到金门大桥时才会亮，但我们就把它一直强制开着。
Emmanuel38:17
I actually think that both are wrong. There's a sense in which all mental models are wrong, but some are useful, right?
我其实认为两种看法都不对。从某种意义上说，所有心智模型都是错的，但有些是有用的，对吧？
Emmanuel42:25
if a model somehow says 4 plus 5 equals 23 or something, and there's a part of the model that just reads that and doesn't do the math, but it's just like, that can't be right.
如果模型说4加5等于23之类的答案，模型里有一部分根本不去算数，只是读到这个结果就觉得，这不可能是对的。
Emmanuel1:02:17
数字与实体
| 语言模型下一词预测超越人类的年份 | 2019年前后 | 8:19 |
| 全球可解释性研究者规模 | 几百人(不是几千人) | 1:03:17 |
术语
- interpretability可解释性研究
- 通过观察模型内部数值反推其思考方式的研究领域
- scaling laws规模定律
- 算力和数据增加时，模型下一词预测能力可预测提升的经验规律
- anthropomorphization拟人化
- 把AI类比为人类心智结构来理解和预测其行为
- System 1 / System 2系统一/系统二
- 卡尼曼提出的快速直觉思考与慢速推理思考的区分
- JevJev
- 给出几个选项后能快速给出判断的新型决策模型
收听指南
想知道大模型内部到底在发生什么、而不满足于比喻和类比的工程师、产品经理和关心AI对齐进展的人。
开场自我介绍和中段的模拟宇宙假说可以跳过，不影响理解主线。