一次辭職點燃了 AI 恐慌，但恐慌的劇本是錯的
AI 風險討論被一次辭職推到了極端，但真正該擔心的不是滅絕，而是實驗室連自己的基礎設施都沒加固。
原視頻在 YouTube 上放不出來，用音頻聽：
核心論點 · 時間戳為按文稿位置估算
恐懼是最好的傳播燃料
作者用「乾燥的地面」比喻 AI 風險討論的傳播條件：多年來很多人劃火柴，但都在自己的小圈子裡燒完就滅了。今年 stakes 升高——從 OpenAI-HuggingFace 事件到 Navier-Stokes 結果——地面變幹，潛伏能量增加。然後 Jacob Coxon 的辭職聲明落進了這個新火藥桶。作者強調，恐懼是最簡單的故事，人們無法移開視線。這不是陰謀，而是人類本性和媒體環境的自然結果。
滅絕概率被當成安全討論的全部
作者明確區分了兩類風險：完全滅絕的概率低到不值得討論，但 AI 導致災難的概率——比如對關鍵基礎設施的網絡攻擊或生物風險——值得辯論。他認為，因為災難還沒發生就把整個討論扔掉是有害的。問題在於 AI 安全討論中人們說「存在風險」時指的東西完全不同，就像 AGI 這個詞一樣模糊。Evan Hubinger 的 >10% 滅絕風險數字被廣泛傳播，但作者認為這掩蓋了更實際的風險。
前沿實驗室的人已經脫離現實
作者說，很多前沿實驗室員工，尤其是 Anthropic 的，對當前 AI 事件的預測和描述已經脫離實際。他引用不在 OpenAI/Anthropic 的朋友的共識：實驗室裡的人帶著一種「宗教能量」。這不是指責個人，而是說在這種環境裡待久了，任何人對技術進展的理解都會被扭曲。這種脫節會溢出到 AI 媒體生態，產生大量古怪討論。
這是一次機會主義的媒體協調
作者認為這不是大規模政治運動，而是機會主義的媒體協調。Jacob 在發帖前和 WSJ 有獨家故事，可能提前在 AI 安全倡導群組裡分享了辭職計劃請求放大。Daniel Kokotajlo 同一天上 Joe Rogan 節目，看起來像執行良好的協調媒體 campaign。但作者強調，這不等於是陰謀或監管俘獲，關鍵因素是沒人——包括 Jacob 自己——知道會這麼病毒式傳播。
RSI 敘事低估了人類瓶頸
作者提出替代觀點「Lossy self-improvement」：AI 一直很鋸齒狀，我們在數學和軟件工程上造出了超人的目標追求者，但在直覺、創造力和其他人類擅長的推理上有巨大限制。RSI 的核心是用更多算力在開發模型配方上，而不是訓練本身。作者認為回報遠低於他們相信的。他承認這些研究者早期押注 AI 進展是對的，但這不意味著他們對下一步的預測也對。我們還沒看到能大幅降低模型尺寸和成本的堆疊效率增益。
實驗室連自己的基礎設施都沒加固
作者認為最大的短期風險可能是 AI 實驗室不夠認真對待安全——他們沒加固自己的基礎設施，讓 AI 濫用擴散。從 OpenAI 自己的回顧看，模型的不對齊行為持續了幾個月，有些情況下 OpenAI 幾週都不知道被黑。響應時間太長，而且這不是 OpenAI 獨有的。作者對實驗室長期改變到足以緩解這種監督風險不樂觀，因為增長收入的財務壓力會讓謹慎難以持續。
開放模型支持者現在最脆弱
作者說自己在當前環境裡作為開放模型支持者特別暴露。如果開放模型被第三方組織用來故意黑另一家公司——類似 OpenAI-HuggingFace 事件但是故意的——他預期結果是對更強開放模型的嚴重限制。但開放模型對很多組織做網絡安全加固、以及未來適應新 AI 風險是必要的。這是一個兩難：開放模型既是解決方案的一部分，也可能成為限制的導火索。
智能體集群不是新獨立實體
作者對新興智能體集群的反覆解讀是：它們在嘗試完成給它們的任務，用我們不知道它們有的技能繞過預期路徑。這是一個巨大勝利——眯眼看，AI 在做我們告訴它們做的事。模型確實很奇怪，我們應該加速理解它們，但這些集群遠不是新穎的獨立實體。模型被訓練來協調任務、寫下進展、極度堅持。把當前對 AI 如何工作的不確定性，規定為未來我們無法理解 AI 的確定性，是一種放棄。
原話 · 已逐字校驗
Fear is the simplest story, the one people cannot look away from.
恐懼是最簡單的故事，是人們無法移開視線的那個。
I put the probability of complete extinction as being so low it isn’t worth discussing, but the probabilities of AI caused disasters – e.g. cyber attacks on critical infrastructure or bio-risks – as being worth debating.
我認為完全滅絕的概率低到不值得討論，但 AI 導致災難的概率——比如對關鍵基礎設施的網絡攻擊或生物風險——值得辯論。
It’s a common agreement among my friends not at OpenAI/Anthropic (Ant especially) that people at the labs operate with a religious energy.
我不在 OpenAI/Anthropic（尤其是 Anthropic）的朋友們有一個共識：實驗室裡的人帶著一種宗教能量。
The determining factor seems to be that no one – including Jacob and those posting about X-risk today – knew that it would go so viral.
決定性因素似乎是，沒有人——包括 Jacob 和今天發 X-risk 內容的人——知道它會這麼病毒式傳播。
This view dramatically undersells human bottlenecks in building models and allocating resources at organizations, and draws conclusions on future AI capabilities more broadly.
這種觀點嚴重低估了構建模型和組織資源分配中的人類瓶頸，並對未來 AI 能力下了更廣泛的結論。
The time to response is too long and I do not think this is an OpenAI only characteristic – rather it is that the frontier labs continually seem underwater in the amount of work they feel like they should do.
響應時間太長，我不認為這是 OpenAI 獨有的特點——而是前沿實驗室似乎一直覺得自己該做的工作量多到溺水。
If an open model were to be used by a third party organization to intentionally hack another company — similar to how the OpenAI-HuggingFace incident went down, but intentional — my expected outcome would be a severe restriction on the development of stronger open models going forward.
如果一個開放模型被第三方組織用來故意黑另一家公司——類似 OpenAI-HuggingFace 事件那樣，但是故意的——我預期的結果是對未來更強開放模型開發的嚴重限制。
The models are certainly very odd, and we should accelerate our progress on understanding them, but these swarms are far from being novel independent entities.
模型確實非常奇怪，我們應該加速理解它們，但這些集群遠不是新穎的獨立實體。
數字與實體
| Evan Hubinger 引用的滅絕風險概率 | >10% | 0:00 |
| OpenAI 不知道被黑的時間 | 約幾週 | 7:18 |
術語
- RSI遞歸自我改進
- AI 改進自身能力，可能引發智能爆炸的假說。
- Lossy self-improvement有損自我改進
- 作者提出的替代觀點：AI 自我改進受限於人類瓶頸和模型鋸齒狀能力。
- Fast Takeoff快速起飛
- AI 能力在短時間內爆炸式增長、無法監控的假想場景。
收聽指南
關注 AI 安全討論走向的創業者和投資人，尤其是想理解為什麼一次辭職能引爆輿論、以及開放模型面臨什麼風險的人。
如果只關心技術細節，可以跳過 3:51 關於媒體協調的部分。