迄今網絡攻擊大多源自封閉模型,而非開源模型
現有公開證據裡,導致網絡攻擊的大多是封閉模型而非開源模型;若按網絡風險封禁開源模型的邏輯,封閉模型的公開API也該一起禁掉,否則只會拉大攻防差距。
原視頻在 YouTube 上放不出來,用音頻聽:
核心論點 · 時間戳為按文稿位置估算
三方立場從未真正交叉對話
作者把開源模型網絡風險辯論分成三派:美國前沿實驗室與國安圈認為開放權重模型是社會難以承受的風險;以作者本人、Hugging Face、Joshua Saxe為代表的溫和派認為封禁開源模型反而讓世界更不安全;中國公司則按自家社會和政府的風險判斷繼續發布帶強網絡能力的開源模型。風險派的聲音在西方輿論場被放大得最響,而真正理解中國公司如何評估風險的討論幾乎為零,多是『中國實驗室不在乎安全』這類接近人身攻擊的說法。
Anthropic測GLM-5.3卻迴避關鍵問題
Anthropic最新報告把GLM-5.3當作攻擊性網絡工具測試,作者認為技術研究本身沒問題,問題是報告完全迴避了更關鍵的跨領域問題——如果真因網絡風險封禁開源模型會怎樣、中國公司又為什麼認定這些模型發布是安全的。這種只談技術不談政策後果的寫法,被作者形容為『solipsistic』(自說自話),而所有政策動作其實都是多方博弈拼圖裡的取捨,幾乎不存在普遍更優解。
迄今網絡攻擊大多來自封閉模型
有人以『看過機密簡報』為由主張必須立刻封禁某個中國開源模型,但作者指出,就公開信息而言,迄今被記錄在案的網絡攻擊大多數反而由封閉模型造成(包括更大範圍的FelonyBench數據)。這讓『開放危險、封閉安全』的流行說法站不住腳,更接近事實的可能是『開放不安全、封閉也不安全』——封閉模型能力更強、護欄理論上也更強,但護欄本身漏洞百出時,更強的能力反而可能帶來更大淨傷害。
封禁開源等於該連API一起禁
作者給出一個邏輯結論:如果認為最新開源模型必須被禁以減緩網絡風險擴散,按同樣邏輯,前沿封閉模型面向公眾的API也該被禁掉。原因是封閉模型的護欄層確實比開源模型多,但遠不完美,而網絡攻擊能力的增長速度很可能遠快於護欄能力的提升——只封開源、放任封閉模型繼續進步,只會把攻防之間的差距越拉越大。短期內,開源模型甚至可能是國防等離線涉密系統唯一能部署的工具。
中國的AI安全邏輯是政治穩定優先
作者認為中國確實在乎AI安全,但這套關注是內生於中國文化和權力結構的,核心是政治穩定而非西方式的『用好人AI制衡壞人AI』。中國公司發布重大模型要向政府登記並提交評測,這套機制最初是為信息管控而設,而非針對網絡或生物風險。同時中國社會的個人風險遠高於美國——頂尖AI研究者不能隨意出境,行業對外資也在收緊——相比之下,美國最壞的結果不過是『公司被解散』。
安全評測要燒掉數千萬美元算力
作者指出,對Kimi K3這種級別的前沿模型做一次全面安全評測,可能要花掉數千萬美元的算力,而這筆錢中國實驗室顯然更想拿去做訓練。真正該問的不是『中國實驗室完全不做安全測試』,而是『一個實驗室發布前最少該花多少算力做安全測試』——這個下限肯定該比中國實驗室現在做的更多,但未必要達到Anthropic或OpenAI的水平。
'做好人用AI'擋不住自家漏洞
西方實驗室的核心信條接近『阻止壞人用AI的最好辦法,是自己做好人用AI』,但作者並不信任這些機構整體,哪怕信任裡面具體做安全工作的人。他舉出Hugging Face與OpenAI之間的事故,以及Hacktron攻破OpenAI系統的案例:如果自己家裡到處漏水,就很難成為世界值得信賴的網絡安全夥伴。
Claude Mythos若洩露,世界大概率沒事
Claude Mythos發布時被預告為一種新型網絡武器,一旦落入壞人之手會造成社會級災難;但如今真正跨過這道門檻的是GLM-5.3,權重發布一個多月後幾乎沒有證據顯示世界發生實質變化。作者更進一步說,就算Claude Mythos當初意外以開源權重洩露,世界大概率也還好——頂多網絡安全事件明顯增多,更像是風險的加速而非質變。他認為開源恐慌論者其實在做一個可證偽的預測,而且很可能被證明是錯的。
原話 · 已逐字校驗
The trope "Open Dangerous, Closed Safe" may be closer to "Open Unsafe, Closed Unsafe."
「『開放危險,封閉安全』這個說法,可能更接近『開放不安全,封閉也不安全』。」
if you think the latest open-weight models need to be banned to slow the diffusion of cyber risks, you probably also need to make public-facing APIs for the frontier closed-models illegal.
「如果你認為要禁掉最新的開源模型來減緩網絡風險的擴散,那你大概也得把前沿封閉模型的公開API變成非法。」
It is very likely that cyber capabilities of closed models increase much faster than guardrail performance, and a world where open models are banned while closed models continue to progress would be increasing the offense-defense cyber gap.
「封閉模型的網絡攻擊能力很可能比護欄性能提升得快得多,一個封禁開源模型、卻任由封閉模型繼續進步的世界,只會拉大攻防之間的差距。」
China cares about AI safety. They have come to this discourse in a complete, endogenous manner relating to Chinese culture and power structures.
「中國是在乎AI安全的。他們走到這套話語體系,完全是出於與中國文化和權力結構相關的內生過程。」
Running comprehensive safety evaluations on a frontier model like Kimi K3 could cost tens of millions of dollars in compute.
「對Kimi K3這個級別的前沿模型做一次全面的安全評測,可能要花掉數千萬美元的算力。」
it’s hard to be the world’s trust cyber partner if your own house is teeming with leaks.
「如果自己家裡到處漏水,就很難成為世界值得信賴的網絡安全夥伴。」
The leading proponents of this new wave of open-weight fear mongering have effectively been making a falsifiable prediction — that the current open-weight models are going to cause substantial, not seen before AI harms by crippling our cyber infrastructure.
「這波新一輪開源模型恐慌論的主要鼓吹者,實際上是在做一個可證偽的預測——即現有的開源模型將造成前所未見的重大AI危害,讓我們的網絡基礎設施陷入癱瘓。」
If Claude Mythos was accidentally released as open-weight, it seems like the world would have been more or less fine.
「如果Claude Mythos當初不小心被當作開源模型放出去,這個世界差不多還是沒事的。」
數字與實體
| 對標Kimi K3的全面安全評測成本 | 數千萬美元算力 | 1:34 |
| GLM-5.3模型權重發布至今的時間 | 超過一個月 | 1:34 |
術語
- open-weight models開放權重模型
- 公開發布模型權重文件、任何人可下載在本地運行的模型
- offense-defense gap攻防差距
- 攻擊能力的增長速度超過防禦/護欄能力增長,二者之間被拉開的差距
- air-gapped networks物理隔離網絡
- 物理上斷開外部連接、無法聯網的高安全等級網絡環境
- FelonyBenchFelonyBench
- 文中提及的一個彙總AI相關網絡犯罪/濫用案例的評測基準
收聽指南
關注中美AI競爭、開源模型監管政策、網絡安全風險辯論的政策研究者與AI從業者。
結尾訂閱提示(9:04起)可以跳過。