深度学习预测神经元活动远超线性模型,但没人能说清原因
讲者的核心论点是:AI模型让神经科学里的「预测」和「理解」第一次明显分道扬镳,模型越准确,科学家反而越看不懂它为什么对,这暴露出科学本身可能存在无法逾越的理解上限。
原视频在 YouTube 上放不出来,用音频听:
核心论点 · 点时间戳可跳到原声
线性模型曾是解释视觉神经元的信仰
Chirimuuta读博时,实验室假设初级视觉皮层的神经元是线性滤波器——只要知道它们对简单条纹的反应,就能预测它们对任意复杂图像的反应,整套行为可以写成一个变量很少的简单方程。她的导师David Tolhurst从1970年代就在验证这个假设。到1990年代,数据已经明显和线性假设不符:单个神经元的活动会被其他神经元以出乎意料的方式影响。
— Mazviita Chirimuuta深度卷积网络预测力碾压线性模型,却是黑箱
2018年休学术假重新审视这个问题时,她发现很多实验室已经改用类似人脸识别的深度卷积网络来预测视觉神经元的反应,准确率远超各种改良版线性模型。但这些网络不基于任何关于神经元在做什么功能的假设,理论上的收获是不清楚的——它们更像一个只给答案、不解释过程的黑箱或神谕。
— Mazviita Chirimuuta导师的邮件:要么懂,要么准,二选一
她把这个发现发给导师David,David回复说这是个两难:要么建一个数学上说得通、能带来理解的简单模型,但只在很窄的范围内有效;要么建一个复杂到数学上不透明、全局都准的模型,但不能产生对神经元反应的理解。两人当时的共识是:如果放弃理解,做的就不是科学,是工程。
— Mazviita Chirimuuta(转述David Tolhurst)AI暴露科学真的有理解不了的东西
作为哲学家,她把这个困境重新解读为一个更大的结论:科学存在极限。不是因为意识这种终极难题,而是因为连一个视觉皮层细胞的运作都复杂到——科学家必须用AI建出数学上极其复杂的模型才能预测它,而这个模型复杂到使用者自己也无法再理解。某些关于自然世界的问题,可能本来就没有人类能理解的答案。
— Mazviita ChirimuutaDiCarlo把理解重新定义成能不能控制
MIT的DiCarlo实验室用人工神经网络模型反过来设计刺激,精准控制V4区神经元的放电强度,并以此回应「这些模型只是炫技,不代表理解大脑」的批评。两位评论的神经科学家指出,这其实是把理解的定义从「能拆解、能讲清原理」换成了纯实用主义标准:能控制住,就算理解了——就像大多数人理解汽车的方式,能预测和操控,但谈不上懂它内部原理。
— Mazviita ChirimuutaPoldrack反驳:预测和理解本质都是压缩
斯坦福心理学家Russell Poldrack不认同「预测和理解此消彼长」。他认为理解和预测本质上是同一件事——都是把一堆杂乱数据压缩成更紧凑的表示。人类喜欢的简单科学模型(比如两参数的线性拟合)只是压缩得太粗、丢失信息太多;而参数极多的人工神经网络能在不过拟合的前提下,做出高维但损失小得多的压缩,所以预测力更强。
— Mazviita Chirimuuta(转述Russell Poldrack)新阵营放弃还原论,但仍想要理解
面对旧框架失效,一部分科学家没有转向纯工程,而是试图保留「理解+干预」的双重目标,但放弃机械论和还原论。Philip Ball和Nicole Rust都主张:过去对阿尔茨海默病的单一蛋白质-线性因果链解释是过度简化;真正的病理是跨多尺度的密集因果网络,充满反馈,很难把原因和结果拆开,这也是为什么清除淀粉样蛋白的疗法对认知衰退几乎没有临床效果。
— Mazviita Chirimuuta心身问题或许只是简化科学造出的假象
她把论证收回到开场提到的Dubois-Reymond:他认为意识的解释永远超出科学极限。Chirimuuta提出,身心问题本身可能是17世纪科学要求「模块化、边界清晰」而人为制造出来的产物——一旦承认「纯粹物理」只是一种简化和理想化,心理和物理之间的割裂就可以被消解,只是这种消解本身是一种无法转化为具体干预的「无用的知识」。
— Mazviita Chirimuuta原话 · 已逐字校验
Either you build a simple model that makes mathematical sense and gives you understanding... or you can build an immensely more complex mathematically opaque model that works accurately across the board, but doesn't yield understanding of the responses.
要么建一个数学上说得通、能给你理解的简单模型……要么建一个复杂得多、数学上不透明的模型,全局都很准,但不会带来对反应的理解。
Mazviita Chirimuuta12:25
This would mean that science with its central goal of understanding the natural world has a limit.
这意味着,以理解自然世界为核心目标的科学,是有极限的。
Mazviita Chirimuuta15:27
We understand a system when we can control it. Most of us understand our cars in this latter sense, predictability and controllability without really understanding them in the former reductive sense.
当我们能控制一个系统时,我们就算理解了它。我们大多数人理解自己的车正是在这个意义上:能预测、能操控,而不是在旧的还原论意义上真正理解它。
Mazviita Chirimuuta31:32
That there is not a trade-off between prediction and understanding... as I for one have argued because the concepts of prediction and understanding are linked both involve data compression.
预测和理解之间并不存在此消彼长的关系……因为预测和理解这两个概念本就是关联的,都涉及数据压缩。
Mazviita Chirimuuta33:34
The power of a technology is proportional to its inherent outofcrollness, its inherent ability to surprise and be generative.
一项技术的力量,和它内在的「失控性」成正比,和它让人意外、让人产出新东西的能力成正比。
Mazviita Chirimuuta38:41
We would have attained some useless knowledge.
我们得到的,会是一种没有用处的知识。
Mazviita Chirimuuta56:02
数字与实体
| Chris Anderson提出「数据终结理论」的时间 | 2008年 | 27:31 |
| 《科学美国人》质疑复杂性科学炒作的封面报道 | 1995年 | 54:01 |
术语
- foundation models基础模型
- 用海量数据训练出的大型通用模型,如大语言模型,可迁移到多种预测任务。
- mechanistic interpretability机制可解释性
- 通过分析AI内部激活模式,反推其对应何种功能或行为的研究方法。
- maker's knowledge制造者知识
- 因亲手搭建一个系统、知其组装原理而获得的理解方式,是传统科学理解观的来源。
- complex adaptive dynamical system复杂适应性动力系统
- 一种强调多尺度反馈、无法还原为简单因果链的系统观,用以替代旧的机械论模型。
收听指南
对科学哲学、AI黑箱问题、以及神经科学建模方法论感兴趣的研究者和工程师。
开场Lakatos奖致谢和讲者履历介绍(0:13-7:20)可以跳过。