世界太吵,來原聲聽播客

Latent Space

物理沒有基礎模型,神經算子用天氣預測補上這一課

Anima Anandkumar 用神經算子把天氣預測帶進 AI 時代:同樣精度快數萬倍、只用消費級 GPU,並展示物理世界如何用少量數據加幾何歸納偏置邁向基礎模型。

神經算子天氣預測AI for Science形式化驗證氣候模型聚變
Anima 是少數橫跨學術界和產業的 AI 科學家;這集不空談 AGI,給了神經算子、可驗證 AI、天氣和聚變的具體機制與數字。中後段全是乾貨。

核心論點 · 點時間戳可跳到原聲

6:07

AI for science 的瓶頸是驗證,不是假設

Anima 說 AI for science 的瓶頸不是產生假設,而是驗證假設。Torch Lean 讓你用類似 PyTorch 的抽象在 Lean 裡寫神經網絡,再證明它的性質:輸入擾動後輸出的變化上界、有限精度的影響、控制系統關心的魯棒性。這樣神經網絡可以進入無人機或核反應堆的控制迴路,並且有形式化保證。她也承認,Lean 目前基於 CPU,擴展到 Transformer 級別的規模還很遠。

— Anima Anandkumar
13:14

PINN 對每個方程從零優化,湍流上必然失靈

物理信息神經網絡把 PDE 寫成損失函數,但 PINN 對每個方程都要從零開始優化;碰到時間依賴、湍流、混沌這類問題,優化景觀根本沒有辦法處理。神經算子換了一條路:不是從方程求解,而是用大量數據學習從函數空間到函數空間的映射,測試時直接給答案,物理約束只用來引導。因為訓練階段見過正確答案,就繞開了從零優化這個死結。

— Anima Anandkumar
16:15

把世界建成連續函數,才能做超分辨率

標準神經網絡的輸入輸出維度是固定的:語言有詞表,圖像有分辨率,訓練完就不能改。物理世界的現象天然多尺度,粗分辨率數據背後還有細尺度物理。神經算子把輸入輸出建模為連續函數,可以做任意離散化;訓練後能用粗數據做 zero-shot 超分辨率,還能在更細分辨率上施加物理約束。這是它區別於普通神經網絡的核心。

— Anima Anandkumar
33:29

氣象學家說不可能,結果快了數萬倍

2021 年團隊想用神經算子做天氣時,氣象學家都說不可能,傳統物理模型有幾十年積累。結果模型訓練出來後,精度接近傳統方法,速度快數萬倍,一臺消費級 GPU 就能跑完原來超算才能做的事。FourCastNet 是第一個開源且允許商用的 AI 天氣模型,DeepMind、華為等到一年後才跟進;小機構也因此能獲得過去大機構才有的保真度。

— Anima Anandkumar
36:30

短期天氣和長期氣候不該是兩個模型

傳統上短期天氣預報和長期氣候模擬是兩個系統。Anima 的立場是地球只有一個,基礎模型應該同時做好短臨和氣候。FourCastNet 3 加入球面幾何,讓同一條軌跡可以穩定滾動到幾個月甚至一年;其他把世界當矩形的模型,長跑後很快就 blow up。氣候預測靠 ensemble:給初始條件加噪聲跑出多條軌跡,再對集合做概率統計。AI 模型夠快,ensemble 規模可以遠比傳統方法大。

— Anima Anandkumar
43:37

極端事件樣本少,卻反而更容易學會

直覺上罕見事件樣本少,AI 應該學不好;但第一次可視化,模型就能抓住颶風和風暴。原因是極端事件有非常具體的物理特徵,物理世界本身有大量結構。聚變等離子體只有幾千個樣本,也能準確預測 disruption,還比傳統模擬快一百萬倍。Anima 的判斷是:傳統數值方法追求任何情況下都可解,而 AI 從數據裡揭示出問題實際上有多可解。

— Anima Anandkumar
1:03:51

AI 不該替聚變押注路線,該加速所有方案

除了天氣,團隊用神經算子給托卡馬克裡的等離子體演化做數字孿生,比傳統模擬快一百萬倍,下一步是把控制和仿真一起設計,目標是預測並防止 disruption,讓聚變可持續。這個項目與英國原子能機構(UKAEA)合作,也在跟美國多個實驗室合作;Anima 說作為 AI 研究者她不想過早押注某一種聚變路線,而是讓 AI 加速所有方案。

— Anima Anandkumar
1:12:55

AI 不該驗證人的設計,該直接給出設計

Anima 說目前只有語言和視覺基礎模型,還沒有物理基礎模型。未來應該訓練能處理多物理場耦合的模型,並進一步做逆向設計:不是人先設計再仿真驗證,而是讓 AI 直接給出最優設計,物理約束當作安全護欄。例子包括光刻掩膜、量子點門控、非線性光子學。這些高度非線性的組合,人類手動找效率很差,AI 卻能在仿真閉環裡找到真正可工作的設計。

— Anima Anandkumar

原話 · 已逐字校驗

we can now have neural networks be part of the verification loop and have confidence that we can use them appropriately

我們現在能讓神經網絡成為驗證迴路的一部分,並確信可以恰當地使用它們。

Anima Anandkumar6:07

we're talking like hundreds of billions to even a trillion context length right so forget ever having a transformer for anything of this scale all of the world's compute will not be enough

這意味著數百億甚至萬億的上下文長度,所以別指望 Transformer 能處理這種規模——全世界的算力加起來都不夠。

Anima Anandkumar29:25

it's not only you know accurate it's almost as close to the uh what the traditional weather models can do accurately but also tens of thousands of times faster

它不僅準確,幾乎能逼近傳統天氣模型能做到的精度,而且快數萬倍。

Anima Anandkumar33:29

there's only one earth. You know, if you want a foundation model, if the claim is that it should be able to do both very short-term as well as very long-term together.

地球只有一個。如果你想做基礎模型,那它就應該能同時處理極短期和極長期預測。

Anima Anandkumar36:30

the physical world may be more forgiving because you know where there are extreme events like hurricanes that have very specific physical signature

物理世界可能更寬容,因為像颶風這樣的極端事件帶有非常具體的物理特徵。

Anima Anandkumar43:37

we have foundation models for language maybe vision but not for physics

我們有語言的基礎模型,也許還有視覺的,但沒有物理的。

Anima Anandkumar1:12:55

without that we cannot experiment, we cannot innovate. I think this is a part that I push a lot

沒有它,我們就無法實驗、無法創新。這是我一直非常強調的一點。

Anima Anandkumar1:21:01

數字與實體

天氣訓練樣本量約 50,000 個28:23
AI 天氣模型相對傳統模型的加速數萬倍 (tens of thousands of times)33:29
FourCastNet 上線 ECMWF 的時間2023 年秋51:44
FourCastNet 預測颶風 Lee 的提前量比標準模型早幾天52:45
聚變等離子體訓練樣本量約幾千個43:37
聚變模擬相對傳統模擬的加速一百萬倍1:03:51
集合預報的成員數幾十個,可更大55:46

術語

Neural Operator神經算子
學習函數空間之間映射的神經網絡,輸入輸出可任意分辨率,適合物理場建模。
Fourier Neural Operator傅里葉神經算子
在傅里葉域建模全局依賴的神經算子,複雜度近線性,兼顧效率與表達力。
Physics-informed neural networks物理信息神經網絡
把 PDE 作為損失約束的神經網絡;簡單問題有效,時間依賴和湍流問題容易失敗。
Certified Robustness認證魯棒性
用形式化方法給出輸入擾動下輸出變化的上界,用於安全關鍵場景。
Reanalysis data再分析資料
把衛星觀測與物理模式同化後的歷史氣象數據,作為 AI 天氣模型的訓練集。
Ensemble prediction集合預報
對初始條件加擾動跑多條軌跡,再統計得到概率化的預報結果。

收聽指南

誰該聽

AI for Science 研究者、科學計算與氣候/能源領域的工程師,以及想理解為什麼 Transformer 在物理世界不夠用的大模型從業者。

可跳過

開頭 0:00-2:02 的主持人自我介紹和寒暄可跳過;正片密度均勻。