AI 沒塌縮是因為發生了相變,不是參數更多
物理學家 Nigel Goldenfeld 用重正化群和相變解釋 AI 在萬億參數下仍沒塌縮的機制,並把同一套框架用於回答遺傳密碼為何唯一。
原視頻在 YouTube 上放不出來,用音頻聽:
核心論點 · 點時間戳可跳到原聲
平方根規律錯了:指數偏偏不是 1/2
磁化強度隨溫度變化本應遵循簡單的平方根規律,實驗給出的指數卻是 0.3265136。從 1940 年代末到 1960 年代中期,物理學家無法解釋指數不是 1/2,這成為凝聚態物理的重大謎題。Nigel 說,當時沒有已知方法能說明這個指數為何不是二分之一。真正能接住這個問題的工具是後來的重正化群。
— Nigel Goldenfeld不可逆讓高能物理變難,卻成就了凝聚態
重正化群嚴格說是半群,通過不斷把自旋粗粒化來研究物理系統。關鍵在不可逆性:從微觀到宏觀有唯一路徑,反過來卻無法唯一確定微觀狀態。這種不可逆性讓高能物理變難,卻讓凝聚態物理成功。正因如此,化學家無需擔心頂夸克質量的修正,微觀物理被歸結為質子質量等常數。沒有這種可粗粒化性,科學本身就無法進行。
— Nigel Goldenfeld維度才是決定物質行為的關鍵變量
Ising 模型在一維時沒有相變,Ising 本人因此一度放棄;1944 年 Onsager 解出二維模型,成就被比作廣義相對論。維度是決定物質行為的關鍵變量,現在甚至被當作連續變量來研究。理解維度效應,才能理解為什麼 AI 只有在超大參數空間中才會出現全新行為。
— Nigel GoldenfeldAI 有效不是參數更多,是系統進了另一個狀態
現代 AI 用萬億參數擬合數據,按傳統統計學的過擬合界限早該塌掉,實際卻依然有效。Nigel 與合作者發現,學習過程中存在相變,伴隨臨界指數和數據塌縮,與超導相變同構。他強調關鍵在於「不同」而不是「多」:不是參數更多所以能擬合更多,而是系統進入了不同的物理狀態。
— Nigel Goldenfeld有限神經網絡裡相變消失,退化成嶺迴歸
相變嚴格存在於無限系統的極限。有限系統——比如有限神經元網絡——裡相變消失,行為退化為嶺迴歸。實驗上要靠近臨界溫度到 10^-12 度,才能看到有限尺寸效應。這反過來解釋為什麼 AI 必須做到萬億參數:規模本身就是逼近相變極限的條件。
— Nigel Goldenfeld遺傳密碼最優到像是被設計過
Nigel 把遺傳密碼的疑問歸納為三個謎題:生命出現得太早;為什麼只有一種標準遺傳密碼;密碼在錯誤容忍上接近最優,像是智能設計。這讓 Francis Crick 深感困惑。基因組是 DNA 序列,而遺傳密碼是把 64 種三聯體映射到 20 種氨基酸的規則表,二者必須分開討論。
— Nigel Goldenfeld密碼進化得快,因為基因當年是橫向傳的
Nigel 的論文用水平基因轉移解決這三個謎題。早期生命不靠垂直遺傳,基因可以在沒有親緣關係的生物間橫向傳播,像網絡效應那樣快速擴散,所以密碼能在短時間內進化並達到最優。隨著複雜度上升,網絡效應關閉,演化轉入垂直方式。這解釋了密碼唯一、最優、且生命出現得比預期快。
— Nigel Goldenfeld生命是物理過程,不是化學過程
Nigel 把生命定義為物理過程而非化學過程:生命利用化學勢梯度驅動自身,其目的是幫助行星達到平衡。他與 Carl Woese 合寫的文章標題就叫「Life is Physics」,並認為生命可以依託不同化學基質實現,包括硅基生命。這個命題把行星科學、統計物理和生物學收進同一框架。
— Nigel Goldenfeld原話 · 已逐字校驗
And you're way, way into that regime where you're just fitting noise and the whole thing shouldn't work. It obviously shouldn't, and yet it does.
你完全處於那種只是在擬合噪聲的狀態,整個事情本不該奏效。顯然不該,但它確實奏效了。
Nigel Goldenfeld0:00
The problem is that there's no known way or there was no known way to account for the fact that the member is not a half.
問題在於,當時沒有已知的方法來解釋這個指數不是二分之一。
Nigel Goldenfeld2:05
It's not just that, well, you have more things and so you can fit more things. There's actually, it's different is the important thing, not the more.
不僅僅是說,你有更多東西,所以能擬合更多東西。實際上,「不同」才是重要的,而不是「多」。
Nigel Goldenfeld29:57
Why is there only one genetic code? Yeah. Okay. We call it the canonical genetic code. And there's minor variations, mainly to do with stop codons, but it's basically the same genetic code.
為什麼只有一種遺傳密碼?我們稱之為標準遺傳密碼。雖然有一些微小變異,主要涉及終止密碼子,但基本上都是相同的遺傳密碼。
Nigel Goldenfeld44:29
If that was the process operative at the dawn of life, it wouldn't have happened this way. But, in fact, what happened was horizontal gene transfer, namely that genes can be transferred between organisms that are not related.
如果生命起源時是垂直演化,就不會發生這種情況。但事實上,發生的是水平基因轉移,即基因可以在不相關的生物之間轉移。
Nigel Goldenfeld48:43
The purpose of life is to help planets come into equilibrium.
生命的目的在於幫助行星達到平衡。
Nigel Goldenfeld58:32
數字與實體
| 臨界指數 | 0.3265136 | 2:05 |
| Ising 模型維度 | 一維無相變,二維有相變 | 11:22 |
| Onsager 解出二維 Ising 模型年份 | 1944 | 11:22 |
| AI 參數規模 | 萬億 | 26:56 |
| 遺傳密碼三聯體數量 | 64 | 40:26 |
| 氨基酸種類 | 20 | 40:26 |
| 最後共同祖先出現時間 | 38 億年前 | 42:29 |
| 隕石年齡 | 43.5 億年 | 43:29 |
術語
- renormalization group重正化群
- 將微觀自由度逐步粗粒化平均,研究不同尺度下物理規律如何變化的方法。
- critical exponent臨界指數
- 描述相變點附近物理量隨控制參數變化的冪律指數,如 0.3265136。
- data collapse數據塌縮
- 把不同尺度數據無量綱化後疊到同一條曲線,表明系統存在標度不變性。
- horizontal gene transfer水平基因轉移
- 基因在不直接親代的生物個體間橫向傳播,區別於垂直遺傳。
- ridge regression嶺迴歸
- 帶 L2 正則化的線性迴歸,常作為有限系統無相變時的替代描述。
收聽指南
想搞懂 AI 為什麼沒在萬億參數下過擬合的創業者、投資人和工程師,以及想用物理框架理解生命起源的研究者。
41:26–55:18 的古菌與密碼細節可快進,直接聽 58:32 的「生命是物理」結論。