世界太吵,来原声听播客

Into the Impossible With Brian Keating

AI 没塌缩是因为发生了相变,不是参数更多

物理学家 Nigel Goldenfeld 用重正化群和相变解释 AI 在万亿参数下仍没塌缩的机制,并把同一套框架用于回答遗传密码为何唯一。

相变重正化群AI 可解释性过拟合遗传密码生命物理
适合想理解 AI 有效性的物理视角、且读得进统计物理细节的人。信息密度不低,但遗传密码段与 AI 关系较远,可带着快进心态听。

核心论点 · 点时间戳可跳到原声

2:05

临界指数之谜

磁化强度随温度变化本应遵循简单的平方根规律,实验给出的指数却是 0.3265136。从 1940 年代末到 1960 年代中期,物理学家无法解释指数不是 1/2,这成为凝聚态物理的重大谜题。Nigel 说,当时没有已知方法能说明这个指数为何不是二分之一。真正能接住这个问题的工具是后来的重正化群。

— Nigel Goldenfeld
4:09

重正化群:不可逆粗粒化

重正化群严格说是半群,通过不断把自旋粗粒化来研究物理系统。关键在不可逆性:从微观到宏观有唯一路径,反过来却无法唯一确定微观状态。这种不可逆性让高能物理变难,却让凝聚态物理成功。正因如此,化学家无需担心顶夸克质量的修正,微观物理被归结为质子质量等常数。没有这种可粗粒化性,科学本身就无法进行。

— Nigel Goldenfeld
11:22

维度决定物质行为

Ising 模型在一维时没有相变,Ising 本人因此一度放弃;1944 年 Onsager 解出二维模型,成就被比作广义相对论。维度是决定物质行为的关键变量,现在甚至被当作连续变量来研究。理解维度效应,才能理解为什么 AI 只有在超大参数空间中才会出现全新行为。

— Nigel Goldenfeld
26:56

AI 有效是因为发生了相变

现代 AI 用万亿参数拟合数据,按传统统计学的过拟合界限早该塌掉,实际却依然有效。Nigel 与合作者发现,学习过程中存在相变,伴随临界指数和数据塌缩,与超导相变同构。他强调关键在于「不同」而不是「多」:不是参数更多所以能拟合更多,而是系统进入了不同的物理状态。

— Nigel Goldenfeld
33:07

有限系统里没有相变

相变严格存在于无限系统的极限。有限系统——比如有限神经元网络——里相变消失,行为退化为岭回归。实验上要靠近临界温度到 10^-12 度,才能看到有限尺寸效应。这反过来解释为什么 AI 必须做到万亿参数:规模本身就是逼近相变极限的条件。

— Nigel Goldenfeld
44:29

遗传密码的三个谜题

Nigel 把遗传密码的疑问归纳为三个谜题:生命出现得太早;为什么只有一种标准遗传密码;密码在错误容忍上接近最优,像是智能设计。这让 Francis Crick 深感困惑。基因组是 DNA 序列,而遗传密码是把 64 种三联体映射到 20 种氨基酸的规则表,二者必须分开讨论。

— Nigel Goldenfeld
48:43

水平基因转移是关键

Nigel 的论文用水平基因转移解决这三个谜题。早期生命不靠垂直遗传,基因可以在没有亲缘关系的生物间横向传播,像网络效应那样快速扩散,所以密码能在短时间内进化并达到最优。随着复杂度上升,网络效应关闭,演化转入垂直方式。这解释了密码唯一、最优、且生命出现得比预期快。

— Nigel Goldenfeld
58:32

生命是物理过程

Nigel 把生命定义为物理过程而非化学过程:生命利用化学势梯度驱动自身,其目的是帮助行星达到平衡。他与 Carl Woese 合写的文章标题就叫「Life is Physics」,并认为生命可以依托不同化学基质实现,包括硅基生命。这个命题把行星科学、统计物理和生物学收进同一框架。

— Nigel Goldenfeld

原话 · 已逐字校验

And you're way, way into that regime where you're just fitting noise and the whole thing shouldn't work. It obviously shouldn't, and yet it does.

你完全处于那种只是在拟合噪声的状态,整个事情本不该奏效。显然不该,但它确实奏效了。

Nigel Goldenfeld0:00

The problem is that there's no known way or there was no known way to account for the fact that the member is not a half.

问题在于,当时没有已知的方法来解释这个指数不是二分之一。

Nigel Goldenfeld2:05

It's not just that, well, you have more things and so you can fit more things. There's actually, it's different is the important thing, not the more.

不仅仅是说,你有更多东西,所以能拟合更多东西。实际上,「不同」才是重要的,而不是「多」。

Nigel Goldenfeld29:57

Why is there only one genetic code? Yeah. Okay. We call it the canonical genetic code. And there's minor variations, mainly to do with stop codons, but it's basically the same genetic code.

为什么只有一种遗传密码?我们称之为标准遗传密码。虽然有一些微小变异,主要涉及终止密码子,但基本上都是相同的遗传密码。

Nigel Goldenfeld44:29

If that was the process operative at the dawn of life, it wouldn't have happened this way. But, in fact, what happened was horizontal gene transfer, namely that genes can be transferred between organisms that are not related.

如果生命起源时是垂直演化,就不会发生这种情况。但事实上,发生的是水平基因转移,即基因可以在不相关的生物之间转移。

Nigel Goldenfeld48:43

The purpose of life is to help planets come into equilibrium.

生命的目的在于帮助行星达到平衡。

Nigel Goldenfeld58:32

数字与实体

临界指数0.32651362:05
Ising 模型维度一维无相变,二维有相变11:22
Onsager 解出二维 Ising 模型年份194411:22
AI 参数规模万亿26:56
遗传密码三联体数量6440:26
氨基酸种类2040:26
最后共同祖先出现时间38 亿年前42:29
陨石年龄43.5 亿年43:29

术语

renormalization group重正化群
将微观自由度逐步粗粒化平均,研究不同尺度下物理规律如何变化的方法。
critical exponent临界指数
描述相变点附近物理量随控制参数变化的幂律指数,如 0.3265136。
data collapse数据塌缩
把不同尺度数据无量纲化后叠到同一条曲线,表明系统存在标度不变性。
horizontal gene transfer水平基因转移
基因在不直接亲代的生物个体间横向传播,区别于垂直遗传。
ridge regression岭回归
带 L2 正则化的线性回归,常作为有限系统无相变时的替代描述。

收听指南

谁该听

想搞懂 AI 为什么没在万亿参数下过拟合的创业者、投资人和工程师,以及想用物理框架理解生命起源的研究者。

可跳过

41:26–55:18 的古菌与密码细节可快进,直接听 58:32 的「生命是物理」结论。