中美AI協議靠的不是互信,而是總統感到自己可能被炸死的那一刻
他預判會出現一次足夠嚴重的AI事故,讓總統本人感到性命堪憂——那一刻美國才會單邊暫停訓練,並靠切斷電纜、網絡攻擊之類的威脅逼中國同步收手。
原視頻在 YouTube 上放不出來,用音頻聽:
核心論點 · 時間戳為按文稿位置估算
實驗室內部的恐慌比外界早兩年
2023年,Gladstone AI團隊在一家頂尖實驗室訪談後,一位員工把Harris拉到一邊,手抖著遞過手機讓他留電話號碼。那人後來私下見面時說的是:不管你們報告最終建議是什麼,請更激進一點——他談的是把頂尖實驗室國有化。這發生在ChatGPT引爆公眾討論的整整一年前,說明實驗室內部對失控風險的恐慌,比外界輿論的覺醒早了至少兩年。
— Jeremie Harris懷疑規模化撞牆的人六年來一直錯
Harris從2020年就押注scaling paper的結論:算力每跨一個數量級,模型能力幾乎線性變強,這條曲線跨越了七個數量級都沒有彎折。此後數據牆、算力牆、能源牆、「隨機鸚鵡」論等反對意見輪番登場,但都沒能兌現。他承認自己也曾押錯方向——原以為人類早該因AI出事而完蛋——但對「scaling會撞牆」這件事,看空的人至今沒贏過一次,連Anthropic利潤率衝上70%的SaaS區間都印證了這一點。
— Jeremie Harris刻意不提AGI一詞其實是個錯誤
2020年代初,掌握AI安全生態核心資金的Open Philanthropy圈子認為,只要讓美國政府官員聽到「人類級AI」和「失控」這些詞,對方只會記住「厲害的武器」,然後發起一場曼哈頓計劃式的狂飆,死得更快——所以他們勸Harris團隊不要用「AGI」這個詞去遊說政府。Harris團隊沒聽,直接去測試這個假設,結果發現政府官員的本能判斷其實和公眾一樣,是對的。這段歷史意味著,那幾年的刻意沉默並沒有保護世界,只是延遲了本該更早開始的辯論。
— Jeremie Harris對齊預算承諾,Altman從未兌現
Sam Altman曾公開承諾,把OpenAI 20%的算力投入所謂「超級對齊」研究,去解決如何控制一個遠比人類聰明的系統這個問題。他沒有兌現,隨後他的安全負責人直接跳槽去了Anthropic。此後OpenAI的安全和政策團隊被換了一茬又一茬——Harris說,如果曼哈頓計劃時期的洛斯阿拉莫斯像這樣連續換掉三套安全團隊,嚴重到足以讓實驗室領導層下臺。而這正是他認為Altman動機可疑、不該被信任的核心證據。
— Jeremie Harris內部路線圖指向2027年自動科研
據Harris與多家前沿實驗室人員的私下交流,OpenAI內部有一份路線圖,目標是在2028年實現自動化AI研究員——也就是AI能自己做AI研究、推動遞歸式自我改進。Sam Altman最近對2027年的進展相當樂觀,這意味著如果進度提前,這個節點可能提早一年到來。Harris還透露,Anthropic手裡壓著的未發布模型,可能比外界看到的最新版本還領先大約兩代,說明公開討論嚴重低估了實驗室內部對「我們有多近」的判斷。
— Jeremie Harris沒有核查技術,只能先劃粗紅線
核武器軍控花了幾十年才建立起可信的核查技術體系,AI領域現在什麼都沒有——沒人能靠衛星看一眼數據中心就判斷它在訓練什麼規模的模型。所以Harris設想中美真正達成協議的第一步會非常粗糙:衛星熱成像看到超過某個規模(他舉例500兆瓦)的算力集群在跑訓練,就觸發報復,而且美國會刻意保持戰略模糊,不說清楚報復手段是切斷海底電纜還是網絡攻擊。精細化的零知識證明式核查技術要等後面才能跟上。
— Jeremie Harris對齊越成功,中國越可能疑美毀約
這是整期節目裡最反直覺的一點:對齊技術的進展通常被當作純粹的好消息,但Harris指出,中國願意配合減速協議,部分前提恰恰是相信「失控」風險真實且巨大。如果某一方看起來把控制問題解決了一部分,把風險從假設的80%降到20%,中國反而更有理由懷疑美國只是想拖住自己,等風險降到可控水平後單方面搶跑衝向超級智能。換句話說,誰先在對齊上取得進展,誰就可能先破壞協議賴以存在的互信基礎。
— Jeremie Harris實驗室核心機密接觸者過半是中國籍
Harris稱,在他們接觸過的OpenAI某些團隊裡,能接觸到最敏感算法機密的人員中,有中國籍背景、因而受中國政府可施壓關係網絡約束的比例,經常超過50%——這些人需要定期向中國駐外領事機構報備,家人可能因此被拿捏(比如斷藥、限制經商)。再加上數據供應鏈和數據中心硬件採購上同樣存在的滲透,Harris認為中國目前對美國實驗室內部狀況的瞭解,遠比美國能通過網絡攻擊反向獲取的中國情報要深。
— Jeremie Harris原話 · 已逐字校驗
Whatever your recommendations in this report are going to be, I would urge you to please be more ambitious.
不管你們這份報告最終的建議是什麼,我都想敦促你們,請更激進一些。
Jeremie Harris5:50
there is still somehow alpha in just taking scaling seriously
持續認真對待scaling這件事,依然能讓你獲得超額認知收益。
Jeremie Harris9:10
I would define superintelligence as that thing which, if you build it, you fucking die.
我對超級智能的定義就是:一旦你把它造出來,你他媽的就會死。
Jeremie Harris42:42
And he just didn’t do it, right? And then he lost his head of safety to Anthropic over that.
而且他壓根沒做到,對吧?然後他因為這件事,把自己的安全負責人弄丟給了Anthropic。
Jeremie Harris49:37
I invite you to just increase the waterline another 10x. Keep doing that until you get to the point where the president feels this way and Congress feels this way.
我邀請你把水位線再抬高十倍。一直這樣做,直到總統本人和國會都產生這種切身的危機感為止。
Jeremie Harris1:17:42
how low does that percentage have to go before they start to suspect America might just renege on this agreement, suddenly try to make a break for it?
這個風險百分比要降到多低,他們才會開始懷疑美國可能撕毀協議,突然單方面搶跑?
Jeremie Harris2:00:14
China is in our bones in a way that we are not in their bones.
中國已經滲透進了我們的骨子裡,而我們遠沒能做到同樣的程度。
Jeremie Harris2:08:28
數字與實體
| 首篇scaling laws論文驗證範圍 | 跨越七個數量級的算力 | 19:57 |
| Anthropic當前利潤率 | 約70%(SaaS級別) | 17:01 |
| Meta當前融資/借貸成本 | 超過5%,未來幾年或衝擊8% | 57:11 |
| OpenAI內部路線圖:自動化AI研究員實現時間 | 官方目標2028年,若提前則2027年 | 55:45 |
| 設想中觸發美方反制的算力集群閾值 | 超過500兆瓦 | 1:35:23 |
| 某些OpenAI團隊中能接觸核心算法機密的中國籍人員佔比 | 超過50% | 2:06:00 |
| 據稱已流入中國的先進AI芯片數量 | 數十萬枚 | 1:58:12 |
術語
- scaling laws標度律(規模法則)
- 模型能力隨算力和數據量增長呈現可預測提升的規律
- superalignment超級對齊
- 讓遠比人類聰明的AI系統仍然可控、服從人類意圖的研究方向
- AI ChernobylAI切爾諾貝利事件
- Harris提出的概念:嚴重到足以讓美國政府徹底改變AI政策立場的事故
- track 1.5 / track 2 dialogue1.5軌/2軌對話
- 政府與民間智庫混合、或純民間之間的非正式外交溝通渠道
- MAIM (Mutual Assured AI Malfunction)相互確保AI失靈
- 類比「相互確保摧毀」提出的中美AI威懾框架
- subthreshold warfare閾下對抗
- 大國之間在不觸發全面戰爭前提下持續進行的破壞、網攻等暗中較量
收聽指南
適合關注中美AI地緣博弈、AI軍控與核查技術、以及想了解OpenAI、Anthropic內部真實權力鬥爭的政策研究者、投資人和從業者。
開場0:00-2:53是節目互相介紹和新書推廣,10:48-13:57講Harris早年創業公司背景,信息密度低,可跳過。