被渲染成網絡武器的開源模型發布後,世界並沒有崩潰
開源模型跨過了被認為的網絡武器門檻一個多月,沒有證據顯示發生了質變級災難,但作者承認這仍將是一場代價不低的行業被迫升級。
原視頻在 YouTube 上放不出來,用音頻聽:
核心論點 · 時間戳為按文稿位置估算
跨過門檻的模型沒引爆災難
Claude Mythos 發布時曾被渲染成一旦權重洩露就可能導致大規模社會失序的新型網絡武器。但按作者的說法,真正跨過那個能力門檻的其實是 GLM-5.3,而且模型權重公開發布已經一個多月,幾乎沒有公開證據顯示發生了對應規模的破壞。作者進一步推測,即便 Claude Mythos 當初真的被意外以開源權重形式洩露,世界大概率也只是大體無恙:網絡安全事件會明顯增多,對社會不利,但更像是風險的加速,而非質變級的臺階式躍升。
一個可證偽的預測,正走向證偽
作者把開源權重模型鼓吹網絡浩劫論的陣營的立場,概括成一個可以被檢驗對錯的具體預測:現有的開源模型會造成前所未見的、足以癱瘓網絡基礎設施的實質性傷害。按他目前掌握的證據,這個預測正走向被證偽——這也是他寫這篇反思的原因:經過多年關於開源權重風險的爭論,終於要靠真實世界的結果來給出答案,而不是繼續停留在假設層面上爭論不休。
恐慌言論怎樣傳染進政府視角
為了證明安全圈確實把開源版 Mythos 渲染成真災難不是他的錯覺,作者列出具體表態:Rob Wiblin 說模型一旦落入犯罪分子或敵對國家網絡部隊手中會是「an actual disaster」;Anthropic 在 Project Glasswing 公告裡警告後果對經濟、公共安全和國家安全而言可能是嚴重的。他強調,重點不是對方字面上說沒說過真災難,而是公眾和聯邦政府層面怎麼接收這些信息——這套語言確實外溢成了一種網絡武器敘事。
一次漏洞利用只是半成品
Epoch AI 用 GLM-5.3 挖漏洞並把它們串成攻擊鏈,公開的 Firefox 案例說明網絡風險為何需要多個條件同時滿足才會造成實際傷害:他們只用 GLM-5.3 構造了一個網頁,Firefox 用戶只要訪問、無需其他操作,攻擊者就能借此竊取用戶電腦裡的文件。但漏洞本身只是攻擊的一環——攻擊者還得把這個網頁真的種到受害者會訪問的地方,這是需要多環節對齊的多階段過程,找到漏洞不等於造成災難。
「fine」這個詞被自己推翻了一半
作者承認自己上一篇文章把「fine」這個判斷寫得不夠精確。更準確的說法是:這件事正在逼出一次代價不低的行業集體升級——軟件行業必須被迫換一種和 AI 共存的工作方式,這會很貴,也會伴隨大量艱苦的修補工作。如果你本來就對 AI 帶來的挑戰持悲觀預期,那「fine」這個詞對你來說是合適的;但如果你完全沒預料到會有一段動盪期,「fine」就低估了事態。
開源模型其實在拉平攻防天平
作者的核心判斷是,開源模型目前反而是在給網絡攻防的平衡加碼,而不是打破它。他的理由是,大多數攻擊者的資源其實比企業更少,所以企業採用開源模型修補漏洞的速度,大概率會比攻擊者拿它去搞破壞的速度更快。他現在真正在盯的那個關鍵變量,是對手是否願意在美國及其盟友境內造成實質性的物理傷害——目前看,對手很可能已經在用這些模型和漏洞大規模、隱蔽地竊取信息,但還沒有證據顯示有誰會把模型全部力量砸向公共機構、製造大規模傷害。
黑客也是有商業模式的生意人
作者引用一條他覺得很好笑但說中要害的推文:一旦不再把威脅行為者想像成不擇手段也要攻進系統的黑客,而是看成有固定業務流程的生意人,很多事就說得通了——麵包店不會因為狗糧短缺就突然開始做狗糧。靠釣魚和誘導受害者自己執行命令的 ClickFix 攻擊者,不會因為出了一個嚴重漏洞就放下手頭的活去現學寫漏洞利用代碼。目前真正在用這類漏洞的,恰好就是本來就以挖漏洞為業的那批人,這不是巧合,而是完全可以從攻擊者的行為模式預測出來的。
他賭漏洞多半是閉源模型挖出來的
作者給出一個明確但帶著大誤差條的預測:他認為目前被發現的大多數漏洞,其實是閉源模型挖出來的,不是開源模型。這個判斷很大程度上取決於開源模型在短期內到底會被怎麼用——而現實是,今天的開源模型服務成本依然偏高,這本身就限制了它被攻擊者大規模拿來挖漏洞的速度。
原話 · 已逐字校驗
If it fell into the hands of criminals or hostile state cyber actors, it would be an actual disaster.
如果它落入犯罪分子或敵對國家網絡部隊手中,那將是一場真正的災難。
Rob Wiblin2:50
Given the rate of AI progress, it will not be long before such capabilities proliferate, potentially beyond actors who are committed to deploying them safely. The fallout—for economies, public safety, and national security—could be severe.
按AI的發展速度,這類能力用不了多久就會擴散出去,很可能擴散到那些並不承諾會安全使用它們的行動者手中。對經濟、公共安全和國家安全而言,後果可能是嚴重的。
Anthropic3:15
Claude Mythos would give attackers a cornucopia of zero-day exploits for essentially all the software on Earth … It would be chaos.
Claude Mythos 會讓攻擊者手握幾乎能打穿地球上所有軟件的零日漏洞……那將是一片混亂。
Zvi Mowshowitz3:45
We used GLM 5.3 to create a website that, simply when visited by a Firefox user and without further interaction, gave the attacker the ability to exfiltrate files from the user’s computer.
我們只用 GLM-5.3 做出了一個網頁,Firefox 用戶只要訪問它、不需要任何其他操作,攻擊者就能借此從用戶電腦裡竊取文件。
Epoch AI4:50
I suspect most of these companies would be faster to adopt open-weight models than attackers, as most attackers are lower resourced than these companies.
我猜這些公司採用開源模型的速度會比攻擊者更快,因為大多數攻擊者的資源其實比這些公司更少。
A bakery isn’t going to start making dog food because there’s a dog food shortage.
麵包店不會因為鬧狗糧短缺,就跑去開始做狗糧。
The fact that the only actors exploiting this are the actors whose MO is exploiting things... isn’t a coincidence. It’s entirely predictable if you understand threat actor behavior.
恰好只有那些本來就以挖漏洞為生的人在利用這個漏洞,這不是巧合。只要瞭解威脅行為者的行為模式,這完全是可以預測到的。
術語
- open-weight model開源權重模型
- 公開發布模型權重供任何人下載使用的模型
- offense-defense balance攻防平衡
- 網絡安全中攻擊方能力與防禦方能力此消彼長的對比關係
- sigmoidS形曲線
- 先指數式上升、最終趨於平緩的增長曲線
- ClickFixClickFix式釣魚
- 誘導受害者親手執行惡意命令來完成入侵的釣魚攻擊手法
收聽指南
關注AI安全與開源模型政策辯論的從業者、投資人,想看一個預測被現實檢驗的真實案例。
開頭關於Binance加密貨幣黑客的背景介紹,和論證主線關係不大,可跳過。