AI 的「智能体」说法是误称:自主性要靠计算闭合,不是算力堆出来的
判断一个系统有没有自主性,不是看它能不能做图灵完备的运算,而是看它的内部回路能不能自己闭合——这正是现在所谓AI agent名不副实的地方。
原视频在 YouTube 上放不出来,用音频听:
核心论点 · 点时间戳可跳到原声
不是所有状态变化都叫计算
如果石头滚落的轨迹、太阳系的演化都算「计算」,那这个词就没有信息量了。Nima 的区分是:不是每次信息传递都是计算,也不是每次状态改变都是计算。他专门为此发展了一套「物理计算理论」,试图给出一个能被证伪、能划清边界的定义,而不是像很多神经科学论文那样,把「某电路计算了某东西」当成不需要论证的套话。
— Nima Dehghani能图灵完备的系统,未必有自主性
法国团队做过一个油浴实验:液滴在振动的油面上弹跳,每次弹跳留下的波纹又反过来推动液滴走出完整的混沌轨迹,实验者还能翻转波相让系统沿原路折返——这个系统被证明是图灵完备的,有记忆、擦除、写入这些计算原语。但 Nima 指出它不是「自主的物理计算装置」,因为翻转相位、闭合回路这个动作是实验者从外部切进来的,不是系统自己产生的。这就是他提出「计算闭合」概念的起点:闭合必须是系统内生的,不能靠外部观察者代劳。
— Nima Dehghani把 AI 系统叫「智能体」是用词错误
现在但凡一个模型接了工具、能自主执行多步操作,就被叫做 agent,出了问题还会被描述成「它失控了」。Nima 认为这是误用:agency(自主性)来自计算闭合——系统要能从环境里采样信息、建立内部世界模型,再用这个模型去调控自己的行为和内部状态(比如生物的稳态设定点)。当前的 AI 系统缺的正是这个闭环,出错不是因为它们「决定造反」,而是因为人没有给它设对边界。
— Nima Dehghani生物负担不起反向传播那种改权重方式
前馈网络好编程,人可以随便往上加层、跑反向传播。但循环网络是另一回事——Nima 称之为「神经科学的圣杯」:大脑要在不断改变操作的同时,不能像反向传播那样大规模、快速地改动突触权重,因为生物系统负担不起那个代价。他把这个问题拆成「漏斗」(有终态)和「齿轮」(状态间可来回切换)两类基本构件,用来分析除法归一化和赢者通吃这两种大脑里反复出现的电路到底在做什么运算。
— Nima Dehghani两个简单电路拼起来,能算出各自都算不出的东西
单独看,除法归一化只会产生有限几种输出状态,赢者通吃也一样。但把二者按不同方向连起来——谁推谁、从哪连到哪——整个系统的状态空间会急剧膨胀,而且会出现一种此前任何一个电路单独都做不到的现象:纯粹由「漏斗」构成的系统,组合后居然冒出了「齿轮」式的可逆行为。Nima 认为这正是进化重复利用模块的方式,也给了人们一条路:不靠海量数据和反向传播,而是靠数学上预测组合规律来设计循环系统。
— Nima Dehghani前馈网络有数学上过不去的坎
Nima 说他正在准备一篇论文(已经改到第16稿),要证明存在一类具体的物理问题,前馈系统在数学上就是解不了,必须靠循环结构。他把这个和经验联系起来:大语言模型能告诉你雨的温度、能用莫奈的风格画雨、能写关于雨的俳句,但它对「下雨」本身没有经验;他的狗没上过伽利略的课,却真的知道下雨是什么。这种「活在环境里」的体验,在他看来正是前馈系统天生缺失、循环系统才能提供的东西。
— Nima Dehghani不改权重也能做反向传播能做的事
Nima 和合作者 Bahtash Babadi 正在完成一篇论文:用一个完全循环的系统,显式地把反向传播要做的数学操作全部实现出来,但过程中权重本身不改变——学习发生在系统的递归状态里,而不是权重更新里。他强调这不是在宣称「大脑就是这么干的」,而是提供一条线索:也许这才是该去看的方向。论文预计几周内能完成语言润色。
— Nima Dehghani大脑里未必处处都是计算,有些地方只是信息中继
被问到大脑有多少比例的处理算是真正的计算,Nima 直接说不知道,但他援引 David Deutsch 的标准——好的解释应该「难以被随意修改」:如果一个理论遇到新现象就能被任意打补丁,那就是坏理论。他举自己正在做的大肠杆菌趋化性研究为例:如果发现某个环节确实只是单纯的信息中继,他愿意直接承认「这部分就不是计算」,而不是硬把计算这顶帽子扣在系统的每一个角落上。
— Nima Dehghani原话 · 已逐字校验
If you have a theory, you can change your theory to accommodate everything. That's not a good theory, right?
如果你的理论可以被随意修改去迁就任何新现象,那就不是一个好理论。
Nima Dehghani0:00
Not every information transfer is a computation.
不是每一次信息传递都是计算。
Nima Dehghani21:14
Because it's the experimentalist who goes there and switches the action over there that closes the loop, right?
因为是实验者跑过去切换了那个动作,才把这个回路闭合起来的。
Nima Dehghani37:59
Oh, yeah. That's such a misnomer. It's terrible.
哦对,这个叫法完全用错了,太糟糕了。
Nima Dehghani44:04
The agency comes from this aspect of having this sort of computational closure built into this system that now you can have an understanding of the environment.
自主性来自系统内建了这种计算闭合,使它能够对环境形成理解。
Nima Dehghani46:08
Recurrence is a beast, right? And I think that's the holy grail of neuroscience.
循环结构是个难啃的野兽,我觉得这是神经科学的圣杯。
Nima Dehghani1:06:00
it has no experience of what RAIN is. Like, you know, it just absolutely doesn't know what RAIN is. My dog knows what RAIN is.
它对「下雨」是什么没有任何经验,它根本不知道下雨是什么。我的狗知道下雨是什么。
Nima Dehghani1:20:24
术语
- computational closure计算闭合
- 系统能把对环境的内部建模转化成对自身行为与状态的调控,形成自给自足的回路
- functor函子
- 范畴论工具,把一个系统的对象和关系映射到另一个系统上
- divisive normalization除法归一化
- 一群神经元的输出按整体活动水平被压缩调节的大脑电路
- winner-take-all赢者通吃
- 两群神经元相互抑制,最终只剩一群保持活跃的大脑电路
- wave walker / pilot wave导波行走者实验
- 液滴在振动油面上弹跳形成的具有记忆与图灵完备性的物理系统
收听指南
对AI agent炒作持怀疑态度的工程师,以及想厘清「计算」能不能用来描述大脑和AI系统的研究者。
范畴论和函子的数学细节部分(约30:40-31:43)如果不是理论背景,可以跳过。