世界太吵,来原声听播客

Interconnects

被渲染成网络武器的开源模型发布后,世界并没有崩溃

开源模型跨过了被认为的网络武器门槛一个多月,没有证据显示发生了质变级灾难,但作者承认这仍将是一场代价不低的行业被迫升级。

开源模型网络安全AI安全漏洞披露攻防平衡

原视频在 YouTube 上放不出来,用音频听:

作者敢把自己几周前的预测摆出来接受检验,比起多数事后诸葛亮的复盘诚实得多。

核心论点 · 时间戳为按文稿位置估算

1:20

跨过门槛的模型没引爆灾难

Claude Mythos 发布时曾被渲染成一旦权重泄露就可能导致大规模社会失序的新型网络武器。但按作者的说法,真正跨过那个能力门槛的其实是 GLM-5.3,而且模型权重公开发布已经一个多月,几乎没有公开证据显示发生了对应规模的破坏。作者进一步推测,即便 Claude Mythos 当初真的被意外以开源权重形式泄露,世界大概率也只是大体无恙:网络安全事件会明显增多,对社会不利,但更像是风险的加速,而非质变级的台阶式跃升。

2:10

一个可证伪的预测,正走向证伪

作者把开源权重模型鼓吹网络浩劫论的阵营的立场,概括成一个可以被检验对错的具体预测:现有的开源模型会造成前所未见的、足以瘫痪网络基础设施的实质性伤害。按他目前掌握的证据,这个预测正走向被证伪——这也是他写这篇反思的原因:经过多年关于开源权重风险的争论,终于要靠真实世界的结果来给出答案,而不是继续停留在假设层面上争论不休。

3:00

恐慌言论怎样传染进政府视角

为了证明安全圈确实把开源版 Mythos 渲染成真灾难不是他的错觉,作者列出具体表态:Rob Wiblin 说模型一旦落入犯罪分子或敌对国家网络部队手中会是「an actual disaster」;Anthropic 在 Project Glasswing 公告里警告后果对经济、公共安全和国家安全而言可能是严重的。他强调,重点不是对方字面上说没说过真灾难,而是公众和联邦政府层面怎么接收这些信息——这套语言确实外溢成了一种网络武器叙事。

4:50

一次漏洞利用只是半成品

Epoch AI 用 GLM-5.3 挖漏洞并把它们串成攻击链,公开的 Firefox 案例说明网络风险为何需要多个条件同时满足才会造成实际伤害:他们只用 GLM-5.3 构造了一个网页,Firefox 用户只要访问、无需其他操作,攻击者就能借此窃取用户电脑里的文件。但漏洞本身只是攻击的一环——攻击者还得把这个网页真的种到受害者会访问的地方,这是需要多环节对齐的多阶段过程,找到漏洞不等于造成灾难。

6:10

「fine」这个词被自己推翻了一半

作者承认自己上一篇文章把「fine」这个判断写得不够精确。更准确的说法是:这件事正在逼出一次代价不低的行业集体升级——软件行业必须被迫换一种和 AI 共存的工作方式,这会很贵,也会伴随大量艰苦的修补工作。如果你本来就对 AI 带来的挑战持悲观预期,那「fine」这个词对你来说是合适的;但如果你完全没预料到会有一段动荡期,「fine」就低估了事态。

6:50

开源模型其实在拉平攻防天平

作者的核心判断是,开源模型目前反而是在给网络攻防的平衡加码,而不是打破它。他的理由是,大多数攻击者的资源其实比企业更少,所以企业采用开源模型修补漏洞的速度,大概率会比攻击者拿它去搞破坏的速度更快。他现在真正在盯的那个关键变量,是对手是否愿意在美国及其盟友境内造成实质性的物理伤害——目前看,对手很可能已经在用这些模型和漏洞大规模、隐蔽地窃取信息,但还没有证据显示有谁会把模型全部力量砸向公共机构、制造大规模伤害。

8:00

黑客也是有商业模式的生意人

作者引用一条他觉得很好笑但说中要害的推文:一旦不再把威胁行为者想象成不择手段也要攻进系统的黑客,而是看成有固定业务流程的生意人,很多事就说得通了——面包店不会因为狗粮短缺就突然开始做狗粮。靠钓鱼和诱导受害者自己执行命令的 ClickFix 攻击者,不会因为出了一个严重漏洞就放下手头的活去现学写漏洞利用代码。目前真正在用这类漏洞的,恰好就是本来就以挖漏洞为业的那批人,这不是巧合,而是完全可以从攻击者的行为模式预测出来的。

9:20

他赌漏洞多半是闭源模型挖出来的

作者给出一个明确但带着大误差条的预测:他认为目前被发现的大多数漏洞,其实是闭源模型挖出来的,不是开源模型。这个判断很大程度上取决于开源模型在短期内到底会被怎么用——而现实是,今天的开源模型服务成本依然偏高,这本身就限制了它被攻击者大规模拿来挖漏洞的速度。

原话 · 已逐字校验

If it fell into the hands of criminals or hostile state cyber actors, it would be an actual disaster.

如果它落入犯罪分子或敌对国家网络部队手中,那将是一场真正的灾难。

Rob Wiblin2:50

Given the rate of AI progress, it will not be long before such capabilities proliferate, potentially beyond actors who are committed to deploying them safely. The fallout—for economies, public safety, and national security—could be severe.

按AI的发展速度,这类能力用不了多久就会扩散出去,很可能扩散到那些并不承诺会安全使用它们的行动者手中。对经济、公共安全和国家安全而言,后果可能是严重的。

Anthropic3:15

Claude Mythos would give attackers a cornucopia of zero-day exploits for essentially all the software on Earth … It would be chaos.

Claude Mythos 会让攻击者手握几乎能打穿地球上所有软件的零日漏洞……那将是一片混乱。

Zvi Mowshowitz3:45

We used GLM 5.3 to create a website that, simply when visited by a Firefox user and without further interaction, gave the attacker the ability to exfiltrate files from the user’s computer.

我们只用 GLM-5.3 做出了一个网页,Firefox 用户只要访问它、不需要任何其他操作,攻击者就能借此从用户电脑里窃取文件。

Epoch AI4:50

I suspect most of these companies would be faster to adopt open-weight models than attackers, as most attackers are lower resourced than these companies.

我猜这些公司采用开源模型的速度会比攻击者更快,因为大多数攻击者的资源其实比这些公司更少。

A bakery isn’t going to start making dog food because there’s a dog food shortage.

面包店不会因为闹狗粮短缺,就跑去开始做狗粮。

The fact that the only actors exploiting this are the actors whose MO is exploiting things... isn’t a coincidence. It’s entirely predictable if you understand threat actor behavior.

恰好只有那些本来就以挖漏洞为生的人在利用这个漏洞,这不是巧合。只要了解威胁行为者的行为模式,这完全是可以预测到的。

术语

open-weight model开源权重模型
公开发布模型权重供任何人下载使用的模型
offense-defense balance攻防平衡
网络安全中攻击方能力与防御方能力此消彼长的对比关系
sigmoidS形曲线
先指数式上升、最终趋于平缓的增长曲线
ClickFixClickFix式钓鱼
诱导受害者亲手执行恶意命令来完成入侵的钓鱼攻击手法

收听指南

谁该听

关注AI安全与开源模型政策辩论的从业者、投资人,想看一个预测被现实检验的真实案例。

可跳过

开头关于Binance加密货币黑客的背景介绍,和论证主线关系不大,可跳过。