AI 的「智能體」說法是誤稱:自主性要靠計算閉合,不是算力堆出來的
判斷一個系統有沒有自主性,不是看它能不能做圖靈完備的運算,而是看它的內部迴路能不能自己閉合——這正是現在所謂AI agent名不副實的地方。
原視頻在 YouTube 上放不出來,用音頻聽:
核心論點 · 點時間戳可跳到原聲
不是所有狀態變化都叫計算
如果石頭滾落的軌跡、太陽系的演化都算「計算」,那這個詞就沒有信息量了。Nima 的區分是:不是每次信息傳遞都是計算,也不是每次狀態改變都是計算。他專門為此發展了一套「物理計算理論」,試圖給出一個能被證偽、能劃清邊界的定義,而不是像很多神經科學論文那樣,把「某電路計算了某東西」當成不需要論證的套話。
— Nima Dehghani能圖靈完備的系統,未必有自主性
法國團隊做過一個油浴實驗:液滴在振動的油面上彈跳,每次彈跳留下的波紋又反過來推動液滴走出完整的混沌軌跡,實驗者還能翻轉波相讓系統沿原路折返——這個系統被證明是圖靈完備的,有記憶、擦除、寫入這些計算原語。但 Nima 指出它不是「自主的物理計算裝置」,因為翻轉相位、閉合迴路這個動作是實驗者從外部切進來的,不是系統自己產生的。這就是他提出「計算閉合」概念的起點:閉合必須是系統內生的,不能靠外部觀察者代勞。
— Nima Dehghani把 AI 系統叫「智能體」是用詞錯誤
現在但凡一個模型接了工具、能自主執行多步操作,就被叫做 agent,出了問題還會被描述成「它失控了」。Nima 認為這是誤用:agency(自主性)來自計算閉合——系統要能從環境裡採樣信息、建立內部世界模型,再用這個模型去調控自己的行為和內部狀態(比如生物的穩態設定點)。當前的 AI 系統缺的正是這個閉環,出錯不是因為它們「決定造反」,而是因為人沒有給它設對邊界。
— Nima Dehghani生物負擔不起反向傳播那種改權重方式
前饋網絡好編程,人可以隨便往上加層、跑反向傳播。但循環網絡是另一回事——Nima 稱之為「神經科學的聖盃」:大腦要在不斷改變操作的同時,不能像反向傳播那樣大規模、快速地改動突觸權重,因為生物系統負擔不起那個代價。他把這個問題拆成「漏斗」(有終態)和「齒輪」(狀態間可來回切換)兩類基本構件,用來分析除法歸一化和贏者通吃這兩種大腦裡反覆出現的電路到底在做什麼運算。
— Nima Dehghani兩個簡單電路拼起來,能算出各自都算不出的東西
單獨看,除法歸一化只會產生有限幾種輸出狀態,贏者通吃也一樣。但把二者按不同方向連起來——誰推誰、從哪連到哪——整個系統的狀態空間會急劇膨脹,而且會出現一種此前任何一個電路單獨都做不到的現象:純粹由「漏斗」構成的系統,組合後居然冒出了「齒輪」式的可逆行為。Nima 認為這正是進化重複利用模塊的方式,也給了人們一條路:不靠海量數據和反向傳播,而是靠數學上預測組合規律來設計循環系統。
— Nima Dehghani前饋網絡有數學上過不去的坎
Nima 說他正在準備一篇論文(已經改到第16稿),要證明存在一類具體的物理問題,前饋系統在數學上就是解不了,必須靠循環結構。他把這個和經驗聯繫起來:大語言模型能告訴你雨的溫度、能用莫奈的風格畫雨、能寫關於雨的俳句,但它對「下雨」本身沒有經驗;他的狗沒上過伽利略的課,卻真的知道下雨是什麼。這種「活在環境裡」的體驗,在他看來正是前饋系統天生缺失、循環系統才能提供的東西。
— Nima Dehghani不改權重也能做反向傳播能做的事
Nima 和合作者 Bahtash Babadi 正在完成一篇論文:用一個完全循環的系統,顯式地把反向傳播要做的數學操作全部實現出來,但過程中權重本身不改變——學習發生在系統的遞歸狀態裡,而不是權重更新裡。他強調這不是在宣稱「大腦就是這麼幹的」,而是提供一條線索:也許這才是該去看的方向。論文預計幾週內能完成語言潤色。
— Nima Dehghani大腦裡未必處處都是計算,有些地方只是信息中繼
被問到大腦有多少比例的處理算是真正的計算,Nima 直接說不知道,但他援引 David Deutsch 的標準——好的解釋應該「難以被隨意修改」:如果一個理論遇到新現象就能被任意打補丁,那就是壞理論。他舉自己正在做的大腸桿菌趨化性研究為例:如果發現某個環節確實只是單純的信息中繼,他願意直接承認「這部分就不是計算」,而不是硬把計算這頂帽子扣在系統的每一個角落上。
— Nima Dehghani原話 · 已逐字校驗
If you have a theory, you can change your theory to accommodate everything. That's not a good theory, right?
如果你的理論可以被隨意修改去遷就任何新現象,那就不是一個好理論。
Nima Dehghani0:00
Not every information transfer is a computation.
不是每一次信息傳遞都是計算。
Nima Dehghani21:14
Because it's the experimentalist who goes there and switches the action over there that closes the loop, right?
因為是實驗者跑過去切換了那個動作,才把這個迴路閉合起來的。
Nima Dehghani37:59
Oh, yeah. That's such a misnomer. It's terrible.
哦對,這個叫法完全用錯了,太糟糕了。
Nima Dehghani44:04
The agency comes from this aspect of having this sort of computational closure built into this system that now you can have an understanding of the environment.
自主性來自系統內建了這種計算閉合,使它能夠對環境形成理解。
Nima Dehghani46:08
Recurrence is a beast, right? And I think that's the holy grail of neuroscience.
循環結構是個難啃的野獸,我覺得這是神經科學的聖盃。
Nima Dehghani1:06:00
it has no experience of what RAIN is. Like, you know, it just absolutely doesn't know what RAIN is. My dog knows what RAIN is.
它對「下雨」是什麼沒有任何經驗,它根本不知道下雨是什麼。我的狗知道下雨是什麼。
Nima Dehghani1:20:24
術語
- computational closure計算閉合
- 系統能把對環境的內部建模轉化成對自身行為與狀態的調控,形成自給自足的迴路
- functor函子
- 範疇論工具,把一個系統的對象和關係映射到另一個系統上
- divisive normalization除法歸一化
- 一群神經元的輸出按整體活動水平被壓縮調節的大腦電路
- winner-take-all贏者通吃
- 兩群神經元相互抑制,最終只剩一群保持活躍的大腦電路
- wave walker / pilot wave導波行走者實驗
- 液滴在振動油面上彈跳形成的具有記憶與圖靈完備性的物理系統
收聽指南
對AI agent炒作持懷疑態度的工程師,以及想釐清「計算」能不能用來描述大腦和AI系統的研究者。
範疇論和函子的數學細節部分(約30:40-31:43)如果不是理論背景,可以跳過。