AI 做科學卡在最後 0.001 分，不是卡在算力
ERA 能跑出成千上萬個候選 notebook，卻關不上最後 30 名的差距——因為內層是機器，外層還得靠人判斷「這篇論文你搞錯了」。
原視頻在 YouTube 上放不出來，用音頻聽：
核心論點 · 點時間戳可跳到原聲
ERA 的輸入是聊天，輸出是帶分數的 notebook
ERA 的產品形態不是讓人寫配置文件，而是直接開聊。因為把科學問題映射成 scorable task 這件事本身不顯然，Michael Brenner 專門寫了一個 agent 來對話式地幫你定義該優化什麼分數。聊完之後底下生成一個 Python notebook，裡面有一個產出分數的函數，然後系統開始「clever way」地變異這個 notebook，不斷提出新代碼去把分數推高。
— John Platt它不總挑最好的那個候選
ERA 內部跑的是 Monte Carlo Tree Search，同時保留成百上千個 notebook 候選，候選池是樹狀的。選擇用強化學習裡的 upper confidence bound：估計一次變異的第 95 百分位結果，挑樂觀上界最高的那個。所以它並不總是貪心地選當前表現最好的 notebook，有時會選第五好的，為的是更高效地探索。它還試過把兩個候選的想法拼起來生成第三個。
— John Platt進化式編程卡了幾十年，卡在隨機變異沒用
Platt 說 evolutionary coding 從 70 年代就有人做，mutate Lisp 代碼之類，但一直沒起飛，原因是代碼空間裡的隨機變異基本沒有價值，跟 DNA 一樣，絕大多數變異是有害的。ERA 之所以能 work，是因為內循環本身是一個 AI，它知道往哪個方向試，相當於底下有一個有意義的梯度。代價是它也會過擬合、也會出現「精靈許願」式的跑偏。
— John Platt預測模型和描述模型是兩回事
John Platt 把科學建模拆成兩類：predictive model 只求在某個數據集上錯誤率最低；descriptive model 才是科學真正想要的，它內部裝著某種關於現實的描述，所以能外推。他的例子是牛頓：蘋果落地可以擬合出來，但引力不是關於蘋果的，拿一個只會擬合蘋果的模型去問行星會怎樣，它沒有行星數據，什麼都不知道。他承認這條界線是模糊的，因為科學家本人也是帶著一堆已知事實和直覺去約束模型的。
— John Platt這是電動工具，會切掉手指
面對多重假設檢驗和過擬合，Platt 的答案不是新方法，而是更狠的舊方法：因為 ERA 是 power tool，所以你必須比過去更嚴格，要有藏得很深、自己絕不看的 holdout。他明確說目前還沒做出能發現全新物理或全新科學的系統，科學家仍然負責判斷結論是不是描述性的。
— John PlattAI 卡在最後 0.001 分
Ira 把分數推到很接近，但最後 30 名左右的位置沒關上，原因是沒有人去把最後那 0.001 分摳下來。這暴露了這套系統的真實結構：內層是機器跑幾小時給出候選，外層是人來做「這篇論文你搞錯了」這種判斷。Platt 把它比作一個不睡覺、極度熱心的研究生——你告訴它方向，它去試，但卡住時得靠人換思路。
— John Platt反事實模型卡了團隊兩年
要判斷該躲開哪條尾跡，得知道它到底造成多少增溫，而這是反事實問題：你無法進入「沒有這條尾跡」的宇宙。團隊做出了一版對 outgoing longwave radiation 可用的反事實模型，但對反射陽光那部分一直做不出來，卡了兩年。他們甚至用人工注入尾跡的數據集自測，自己的嘗試連自己的測試都過不了。最後是 ERA 找到一個搜索所有 confounder 的簡單模型，通過了測試，把問題解開。
— John Platt野火在燒成房間大小前最好滅
Google 有一個 crisis resilience 方向，其中項目叫 Firesat：野火如果只燒到「這間屋子」那麼大時極易撲滅，一旦到一英畝就難得多，而它從房間大小漲到一英畝可能是指數級的。方案是低軌衛星星座，用中波紅外（mid-wave IR，對應黑體輻射，正是火的溫度）探測，約 50 到 80 顆可覆蓋全球，能發現約 5 米見方的火，並在 15 到 20 分鐘內報警。合作方是 nonprofit Earth Fire Alliance，衛星由 Muon Space 製造，已發射一顆原型。
— John Platt原話 · 已逐字校驗
But the reason why it just hasn't taken off is that random mutation in code space is pretty much worthless.
但它一直沒起飛的原因是，代碼空間裡的隨機變異基本毫無價值。
John Platt18:38
A descriptive model is actually what science is trying to get to, which is, okay, it should be able to extrapolate because it has sort of the physics or the actual, some description of reality that's captured within it.
描述性模型才是科學真正想抵達的東西：它應該能外推，因為它內部裝著某種物理，或者某種關於現實的描述。
John Platt22:44
Because it's a power tool, it can, I shouldn't probably say, it can slice your fingers off.
因為它是電動工具，它可能——我大概不該這麼說——它可能把你的手指切掉。
John Platt31:59
any metric that becomes a target is no longer good as a metric
任何變成目標的指標，就不再是一個好指標。
John Platt35:02
So it's almost like having a hyper eager grad student or something who doesn't sleep. And you sort of tell it things and you and you sort of guide it around.
所以這幾乎就像有一個極度熱心的研究生，他不睡覺。你告訴它一些事情，你引導它四處探索。
John Platt40:23
But would have happened if there hadn't been a contrail there. That's a very difficult thing to estimate because you can't access the universe where that didn't happen.
但如果那裡沒有凝結尾跡，會發生什麼？這是非常難估計的事情，因為你無法進入那個沒有發生這件事的宇宙。
John Platt48:08
But when it's like climate and it's open and it's non-stationary or you have to make these big extrapolations, you have to be much more cautious.
但當問題像氣候這樣開放且非平穩，或者你必須做很大的外推時，你就必須謹慎得多。
John Platt1:06:54
it's very easy to put out a wildfire the size of this room. But even if it's like an acre, it gets much, much harder.
撲滅一場只有這間屋子那麼大的野火非常容易。但哪怕它到了一英畝，難度就會大得多。
John Platt1:24:27
數字與實體
| ERA 默認並行搜索分支數 | 10 | 12:27 |
| UCB 估計的分位數 | 95th percentile | 10:24 |
| 凝結尾跡占人為全球變暖比例 | 約 1% | 43:31 |
| 歐洲局地凝結尾跡強迫 | 約 1 瓦每平方米 | 44:47 |
| 全球平均人為變暖強迫 | 約 3 瓦每平方米 | 44:47 |
| AlphaFold 公開的蛋白質預測數 | 約 60 億 | 1:06:54 |
| Firesat 所需低軌衛星數量 | 約 50 到 80 顆 | 1:24:27 |
| Firesat 可探測的最小火場尺寸 | 約 5 米見方 | 1:24:27 |
| Firesat 報警延遲 | 15 到 20 分鐘內（需約 80 顆衛星） | 1:24:27 |
術語
- ERAERA
- Google 的 AI for science 系統，用進化式搜索自動生成並優化科學 notebook。
- Monte Carlo Tree Search蒙特卡洛樹搜索
- 一種在巨大搜索空間中平衡探索與利用的算法，常用於遊戲和代碼生成。
- upper confidence bound置信上界
- 強化學習中選擇動作的策略，用樂觀估計來驅動探索。
- contrail凝結尾跡
- 飛機在高空冰過飽和區飛行時留下的冰晶雲，有增溫效應。
- NISQ含噪中等規模量子
- Noisy Intermediate-Scale Quantum，指當前量子計算所處的階段。
- broom sensor掃帚式傳感器
- 衛星移動時沿一個方向掃過光譜的傳感器，不是快照相機。
收聽指南
適合做 AI for science、氣候建模或量子計算的工程師和研究者，以及想了解 Google 內部工具鏈的創業者。
如果只關心 AI 應用，1:47 之後的小行星和奧斯卡軼事可以跳過。