深度學習預測神經元活動遠超線性模型,但沒人能說清原因
講者的核心論點是:AI模型讓神經科學裡的「預測」和「理解」第一次明顯分道揚鑣,模型越準確,科學家反而越看不懂它為什麼對,這暴露出科學本身可能存在無法逾越的理解上限。
原視頻在 YouTube 上放不出來,用音頻聽:
核心論點 · 點時間戳可跳到原聲
線性模型曾是解釋視覺神經元的信仰
Chirimuuta讀博時,實驗室假設初級視覺皮層的神經元是線性濾波器——只要知道它們對簡單條紋的反應,就能預測它們對任意複雜圖像的反應,整套行為可以寫成一個變量很少的簡單方程。她的導師David Tolhurst從1970年代就在驗證這個假設。到1990年代,數據已經明顯和線性假設不符:單個神經元的活動會被其他神經元以出乎意料的方式影響。
— Mazviita Chirimuuta深度卷積網絡預測力碾壓線性模型,卻是黑箱
2018年休學術假重新審視這個問題時,她發現很多實驗室已經改用類似人臉識別的深度卷積網絡來預測視覺神經元的反應,準確率遠超各種改良版線性模型。但這些網絡不基於任何關於神經元在做什麼功能的假設,理論上的收穫是不清楚的——它們更像一個只給答案、不解釋過程的黑箱或神諭。
— Mazviita Chirimuuta導師的郵件:要麼懂,要麼準,二選一
她把這個發現發給導師David,David回覆說這是個兩難:要麼建一個數學上說得通、能帶來理解的簡單模型,但只在很窄的範圍內有效;要麼建一個複雜到數學上不透明、全局都準的模型,但不能產生對神經元反應的理解。兩人當時的共識是:如果放棄理解,做的就不是科學,是工程。
— Mazviita Chirimuuta(轉述David Tolhurst)AI暴露科學真的有理解不了的東西
作為哲學家,她把這個困境重新解讀為一個更大的結論:科學存在極限。不是因為意識這種終極難題,而是因為連一個視覺皮層細胞的運作都複雜到——科學家必須用AI建出數學上極其複雜的模型才能預測它,而這個模型複雜到使用者自己也無法再理解。某些關於自然世界的問題,可能本來就沒有人類能理解的答案。
— Mazviita ChirimuutaDiCarlo把理解重新定義成能不能控制
MIT的DiCarlo實驗室用人工神經網絡模型反過來設計刺激,精準控制V4區神經元的放電強度,並以此回應「這些模型只是炫技,不代表理解大腦」的批評。兩位評論的神經科學家指出,這其實是把理解的定義從「能拆解、能講清原理」換成了純實用主義標準:能控制住,就算理解了——就像大多數人理解汽車的方式,能預測和操控,但談不上懂它內部原理。
— Mazviita ChirimuutaPoldrack反駁:預測和理解本質都是壓縮
斯坦福心理學家Russell Poldrack不認同「預測和理解此消彼長」。他認為理解和預測本質上是同一件事——都是把一堆雜亂數據壓縮成更緊湊的表示。人類喜歡的簡單科學模型(比如兩參數的線性擬合)只是壓縮得太粗、丟失信息太多;而參數極多的人工神經網絡能在不過擬合的前提下,做出高維但損失小得多的壓縮,所以預測力更強。
— Mazviita Chirimuuta(轉述Russell Poldrack)新陣營放棄還原論,但仍想要理解
面對舊框架失效,一部分科學家沒有轉向純工程,而是試圖保留「理解+干預」的雙重目標,但放棄機械論和還原論。Philip Ball和Nicole Rust都主張:過去對阿爾茨海默病的單一蛋白質-線性因果鏈解釋是過度簡化;真正的病理是跨多尺度的密集因果網絡,充滿反饋,很難把原因和結果拆開,這也是為什麼清除澱粉樣蛋白的療法對認知衰退幾乎沒有臨床效果。
— Mazviita Chirimuuta心身問題或許只是簡化科學造出的假象
她把論證收回到開場提到的Dubois-Reymond:他認為意識的解釋永遠超出科學極限。Chirimuuta提出,身心問題本身可能是17世紀科學要求「模塊化、邊界清晰」而人為製造出來的產物——一旦承認「純粹物理」只是一種簡化和理想化,心理和物理之間的割裂就可以被消解,只是這種消解本身是一種無法轉化為具體干預的「無用的知識」。
— Mazviita Chirimuuta原話 · 已逐字校驗
Either you build a simple model that makes mathematical sense and gives you understanding... or you can build an immensely more complex mathematically opaque model that works accurately across the board, but doesn't yield understanding of the responses.
要麼建一個數學上說得通、能給你理解的簡單模型……要麼建一個複雜得多、數學上不透明的模型,全局都很準,但不會帶來對反應的理解。
Mazviita Chirimuuta12:25
This would mean that science with its central goal of understanding the natural world has a limit.
這意味著,以理解自然世界為核心目標的科學,是有極限的。
Mazviita Chirimuuta15:27
We understand a system when we can control it. Most of us understand our cars in this latter sense, predictability and controllability without really understanding them in the former reductive sense.
當我們能控制一個系統時,我們就算理解了它。我們大多數人理解自己的車正是在這個意義上:能預測、能操控,而不是在舊的還原論意義上真正理解它。
Mazviita Chirimuuta31:32
That there is not a trade-off between prediction and understanding... as I for one have argued because the concepts of prediction and understanding are linked both involve data compression.
預測和理解之間並不存在此消彼長的關係……因為預測和理解這兩個概念本就是關聯的,都涉及數據壓縮。
Mazviita Chirimuuta33:34
The power of a technology is proportional to its inherent outofcrollness, its inherent ability to surprise and be generative.
一項技術的力量,和它內在的「失控性」成正比,和它讓人意外、讓人產出新東西的能力成正比。
Mazviita Chirimuuta38:41
We would have attained some useless knowledge.
我們得到的,會是一種沒有用處的知識。
Mazviita Chirimuuta56:02
數字與實體
| Chris Anderson提出「數據終結理論」的時間 | 2008年 | 27:31 |
| 《科學美國人》質疑複雜性科學炒作的封面報道 | 1995年 | 54:01 |
術語
- foundation models基礎模型
- 用海量數據訓練出的大型通用模型,如大語言模型,可遷移到多種預測任務。
- mechanistic interpretability機制可解釋性
- 通過分析AI內部激活模式,反推其對應何種功能或行為的研究方法。
- maker's knowledge製造者知識
- 因親手搭建一個系統、知其組裝原理而獲得的理解方式,是傳統科學理解觀的來源。
- complex adaptive dynamical system複雜適應性動力系統
- 一種強調多尺度反饋、無法還原為簡單因果鏈的系統觀,用以替代舊的機械論模型。
收聽指南
對科學哲學、AI黑箱問題、以及神經科學建模方法論感興趣的研究者和工程師。
開場Lakatos獎致謝和講者履歷介紹(0:13-7:20)可以跳過。