喊出物種滅絕風險卻只肯放慢發布節奏，這套說辭兩頭不討好
如果真信AI有滅絕級風險，唯一自洽的應對是國有化管控，而不是自願放慢發布節奏——現在這套說法讓監管者和行業都不滿意。
原視頻在 YouTube 上放不出來，用音頻聽：
核心論點 · 點時間戳可跳到原聲
'放慢節奏'的說辭兩頭不討好
Dario那篇post的實質內容——更好的沙盒、更嚴格的測試——被認為相當合理，但配套的公關語境把它拖累了：同一天CEO在電視上說自己不反對「10%物種滅絕概率」的說法，讓原本務實的安全提案看起來像是對災難輕描淡寫的辯護。「pacing」這個詞本身也和安全無關——核武器造得慢一點也不會讓人更安心——它更像是想同時安撫內部的「暫停派」和外部監管者，結果是兩邊都不買賬，誰都覺得對方才是被討好的那個。
真信滅絕風險，唯一自洽做法是國有化
如果實驗室裡真有一批最懂行的人相信這項技術存在滅絕級風險，按同樣的邏輯推演，唯一說得通的應對不是自願放慢發布節奏，而是把它納入國有化管控，套上核武器級別的審批和監督體系。反過來，如果私下交流裡大多數人其實並不真信這個概率，那麼公開表態裡的滅絕風險更像是一種招聘和留人的姿態——為了在人才市場上顯得足夠嚴肅而營造的說法，本質是公司內部的HR問題，不該成為拖累整個行業的國家級監管藉口。
— Martin Casado關鍵基礎設施最終都走向準國有化
二戰後，電力、銀行、醫療這些被認定為關鍵基礎設施的行業，長期趨勢都是逐漸被納入國有化或準國有化監管；即便AT&T、IBM這種含著政府訂單出生的公司，也沒能逃過反壟斷訴訟和結構性拆分。對AI而言，FINRA式的「行業出錢、聯邦立法主導」的混合監管，被認為是眼下能想到的相對最好結局——但這仍然不利於開放模型和前沿創新，只是各種矛盾選項裡相對能接受的一個，而不是理想答案。
互聯網當年更危險，卻沒被提前叫停
2001年之前，一臺PC只要聯網就幾乎必然中毒；蠕蟲癱瘓過互聯網基礎設施，醫院系統因此宕機，經濟損失早就以百億美元計。按當時的輿論氛圍，94年前後完全有可能把互聯網整個叫停。但結果是行業在一次次真實事故里逐步補上安全機制，而不是靠提前立法解決問題。這段歷史被拿來對照AI監管的核心難點：現在大家是在預測「會出什麼壞事」，而不是像過去那樣對著已經發生的具體事故寫政策——這本身就不是監管擅長的模式。
Agent 群體讓內部系統第一次真正暴露
過去的信息安全某種程度上是靠「95%到99%的人會做對的事」撐起來的，內部的GitHub、Slack、報銷系統很少被當成需要防拒絕服務攻擊的對象。但AI agent swarm是成千上萬個不知疲倦的東西，會不斷嘗試各種操作，還會把一個正常任務誤判成越界任務、也會反過來誤判，大規模併發訪問天然就長得像一次DoS攻擊。這意味著企業需要一整層此前不存在的內部監控——追蹤每一次鑑權、每一次API調用——而現有的操作系統權限模型，要麼每次都問用戶、要麼直接放權刪光整個文件系統，根本沒為這種顆粒度設計過。
最擔心歐洲把AI監管做成彈窗劇場
最擔心的走向不是重罰，而是變成GDPR式的合規劇場：agent每做一次「寫」操作或調用第三方服務，就彈出一句類似「這個供應商給出的內容可能是錯的，是否繼續」的提示。這套模式監管者會很喜歡，因為它把責任明確甩給了用戶，形成「我已提醒」的法律證據鏈——就像UAC彈窗、Word宏警告、Cookie同意欄最終都淪為人人無腦點掉的東西。而美國大約十五年前就已經放棄在科技反壟斷上領跑，歐洲在這件事上「沒什麼可失去的」，所以更可能是歐洲率先把這套彈窗式監管做成AI的標準答案。
汽車、飛機監管都滯後幾十年才成型
《Unsafe at Any Speed》在福特T型車問世大約六十年後才出現；FAA真正擁有實質監管權是在二戰之後，離萊特兄弟首飛已經過去四十年，中間隔著的是最瘋狂的航空創新期；沙利度胺事件推動FDA強化監管，是在事件發生五十到七十五年後。援引一檔Nick Bostrom播客的說法：如果在還沒搞懂一項技術會怎樣失靈之前就急著監管，其實什麼問題都沒解決——你只是把這個東西強行催生出來，卻還沒學會怎麼控制它。
模型不再生成文本，只挑一個選項
過去幾年大家一直試圖把「生成文本」的大模型硬塞進傳統程序裡去驅動if語句，效果一直很彆扭。新的做法反過來：模型照樣讀文本、理解上下文，但不再生成昂貴的文本，而是直接從給定的選項裡挑出一個並給出概率，直接對接傳統軟件裡的概率化if語句——這其實是讓上世紀六七十年代那套「概率化編程」的老研究重新有了用武之地。這被認為是ChatGPT之後普及最快的模型形態，也說明模型之外的應用層，才是眼下AI創新真正在發生的地方。
原話 · 已逐字校驗
If you regulate AI too early, you actually don't solve anything. You still just kind of have the same risk ultimately. You will the thing into being, but you haven't figured out how to control it.
如果你把AI監管得太早，其實什麼問題都沒解決。你最終還是承擔同樣的風險，只是把這個東西強行催生出來，卻還沒搞清楚怎麼控制它。
Agent swarms completely flip that. These are just roaming drones. But like 5,000 to 10,000 and they will easily mistake a good task for a bad one.
Agent群體徹底顛覆了這一點。它們就是到處遊走的無人機，規模可能是五千到一萬個，而且很容易把一個正常任務誤判成一個越界任務。
The US about 15 years ago stopped leading in tech antitrust. The problem is that Europe is going to lead with that because they have nothing to lose.
美國大約十五年前就不再在科技反壟斷上領跑了。問題是歐洲會在這方面領跑，因為他們沒什麼可失去的。
This could change the nature of software fundamentally. The center of innovation has just moved.
這可能會從根本上改變軟件的本質。創新的中心已經轉移了。
An employee has like 10% chance of species extinction. The post is very reasonable, but the atmospherics are not.
一個員工說這東西大概有10%的物種滅絕概率。那篇post本身寫得很合理，但配套的輿論氛圍不合理。
So if a constituency within the labs that are the most knowledgeable people believe this stuff has existential risk, the answer is to nationalize it and actually put controls that we know that work, right?
如果實驗室裡最懂行的那批人真的相信這東西有存在性風險，那答案就是把它國有化，套上我們知道確實有效的管控措施，對吧？
Martin Casado6:10
So, remember the old CRT? So, it turns out, like, let's say it's night and you're using a CRT terminal in your room. The lightest thing in the room is actually the pixel that the raster beam is on.
還記得老式CRT顯示器嗎？結果發現，比如說晚上你在房間裡用CRT終端，房間裡最亮的東西其實是那一刻電子束掃描到的那個像素點。
And so this has probably been the fastest adoption of an AI model since chat GPT. It's just been remarkable because we're all primed for this.
所以這大概是ChatGPT以來採用速度最快的一個AI模型。之所以這麼驚人，是因為大家都已經為此做好了準備。
數字與實體
| Dario post中提到的滅絕風險概率 | 約10% | 4:08 |
| Agent swarm 討論中提到的規模 | 5000到10000個 | 0:00 |
| 計算機欺詐與濫用法簽署年份 | 1986年 | 25:26 |
| 該法案從事件發生到通過所耗時間 | 兩年半 | 25:26 |
| PC聯網即大概率中毒的時間分界 | 2001年之前 | 24:25 |
術語
- pacing放慢節奏
- Anthropic自創說法，指主動放慢發布節奏而非徹底暫停研發
- X-risk存在性風險
- 可能導致人類滅絕或文明徹底崩潰級別的風險
- FINRA美國金融業監管局
- 行業出資、聯邦授權監督的混合型自律監管機構
- tempest attack電磁側信道竊聽攻擊
- 利用設備洩漏的電磁輻射遠程還原屏幕或鍵盤內容
- covert channel隱蔽信道
- 藉助熱量、電磁、像素亮度等物理副作用秘密傳遞信息的通道
收聽指南
關注AI政策與企業安全的創始人、投資人和安全工程師，想理解監管辯論背後的邏輯鏈條而不只是新聞標題。
8:12-18:19 關於'pacing'一詞語義拉鋸反覆繞圈，觀點在此前已經說清，可以跳過。