世界太吵,来原声听播客

Interconnects

迄今网络攻击大多源自封闭模型,而非开源模型

现有公开证据里,导致网络攻击的大多是封闭模型而非开源模型;若按网络风险封禁开源模型的逻辑,封闭模型的公开API也该一起禁掉,否则只会拉大攻防差距。

开源模型网络安全中美AI竞争AI安全政策Anthropic治理

原视频在 YouTube 上放不出来,用音频听:

这是一篇政策评论博客的朗读,没有新实验数据,价值在于拆穿网络风险论战里几条没人敢细想的逻辑漏洞。

核心论点 · 时间戳为按文稿位置估算

0:00

三方立场从未真正交叉对话

作者把开源模型网络风险辩论分成三派:美国前沿实验室与国安圈认为开放权重模型是社会难以承受的风险;以作者本人、Hugging Face、Joshua Saxe为代表的温和派认为封禁开源模型反而让世界更不安全;中国公司则按自家社会和政府的风险判断继续发布带强网络能力的开源模型。风险派的声音在西方舆论场被放大得最响,而真正理解中国公司如何评估风险的讨论几乎为零,多是『中国实验室不在乎安全』这类接近人身攻击的说法。

1:34

Anthropic测GLM-5.3却回避关键问题

Anthropic最新报告把GLM-5.3当作攻击性网络工具测试,作者认为技术研究本身没问题,问题是报告完全回避了更关键的跨领域问题——如果真因网络风险封禁开源模型会怎样、中国公司又为什么认定这些模型发布是安全的。这种只谈技术不谈政策后果的写法,被作者形容为『solipsistic』(自说自话),而所有政策动作其实都是多方博弈拼图里的取舍,几乎不存在普遍更优解。

1:34

迄今网络攻击大多来自封闭模型

有人以『看过机密简报』为由主张必须立刻封禁某个中国开源模型,但作者指出,就公开信息而言,迄今被记录在案的网络攻击大多数反而由封闭模型造成(包括更大范围的FelonyBench数据)。这让『开放危险、封闭安全』的流行说法站不住脚,更接近事实的可能是『开放不安全、封闭也不安全』——封闭模型能力更强、护栏理论上也更强,但护栏本身漏洞百出时,更强的能力反而可能带来更大净伤害。

1:34

封禁开源等于该连API一起禁

作者给出一个逻辑结论:如果认为最新开源模型必须被禁以减缓网络风险扩散,按同样逻辑,前沿封闭模型面向公众的API也该被禁掉。原因是封闭模型的护栏层确实比开源模型多,但远不完美,而网络攻击能力的增长速度很可能远快于护栏能力的提升——只封开源、放任封闭模型继续进步,只会把攻防之间的差距越拉越大。短期内,开源模型甚至可能是国防等离线涉密系统唯一能部署的工具。

1:34

中国的AI安全逻辑是政治稳定优先

作者认为中国确实在乎AI安全,但这套关注是内生于中国文化和权力结构的,核心是政治稳定而非西方式的『用好人AI制衡坏人AI』。中国公司发布重大模型要向政府登记并提交评测,这套机制最初是为信息管控而设,而非针对网络或生物风险。同时中国社会的个人风险远高于美国——顶尖AI研究者不能随意出境,行业对外资也在收紧——相比之下,美国最坏的结果不过是『公司被解散』。

1:34

安全评测要烧掉数千万美元算力

作者指出,对Kimi K3这种级别的前沿模型做一次全面安全评测,可能要花掉数千万美元的算力,而这笔钱中国实验室显然更想拿去做训练。真正该问的不是『中国实验室完全不做安全测试』,而是『一个实验室发布前最少该花多少算力做安全测试』——这个下限肯定该比中国实验室现在做的更多,但未必要达到Anthropic或OpenAI的水平。

1:34

'做好人用AI'挡不住自家漏洞

西方实验室的核心信条接近『阻止坏人用AI的最好办法,是自己做好人用AI』,但作者并不信任这些机构整体,哪怕信任里面具体做安全工作的人。他举出Hugging Face与OpenAI之间的事故,以及Hacktron攻破OpenAI系统的案例:如果自己家里到处漏水,就很难成为世界值得信赖的网络安全伙伴。

1:34

Claude Mythos若泄露,世界大概率没事

Claude Mythos发布时被预告为一种新型网络武器,一旦落入坏人之手会造成社会级灾难;但如今真正跨过这道门槛的是GLM-5.3,权重发布一个多月后几乎没有证据显示世界发生实质变化。作者更进一步说,就算Claude Mythos当初意外以开源权重泄露,世界大概率也还好——顶多网络安全事件明显增多,更像是风险的加速而非质变。他认为开源恐慌论者其实在做一个可证伪的预测,而且很可能被证明是错的。

原话 · 已逐字校验

The trope "Open Dangerous, Closed Safe" may be closer to "Open Unsafe, Closed Unsafe."

「『开放危险,封闭安全』这个说法,可能更接近『开放不安全,封闭也不安全』。」

if you think the latest open-weight models need to be banned to slow the diffusion of cyber risks, you probably also need to make public-facing APIs for the frontier closed-models illegal.

「如果你认为要禁掉最新的开源模型来减缓网络风险的扩散,那你大概也得把前沿封闭模型的公开API变成非法。」

It is very likely that cyber capabilities of closed models increase much faster than guardrail performance, and a world where open models are banned while closed models continue to progress would be increasing the offense-defense cyber gap.

「封闭模型的网络攻击能力很可能比护栏性能提升得快得多,一个封禁开源模型、却任由封闭模型继续进步的世界,只会拉大攻防之间的差距。」

China cares about AI safety. They have come to this discourse in a complete, endogenous manner relating to Chinese culture and power structures.

「中国是在乎AI安全的。他们走到这套话语体系,完全是出于与中国文化和权力结构相关的内生过程。」

Running comprehensive safety evaluations on a frontier model like Kimi K3 could cost tens of millions of dollars in compute.

「对Kimi K3这个级别的前沿模型做一次全面的安全评测,可能要花掉数千万美元的算力。」

it’s hard to be the world’s trust cyber partner if your own house is teeming with leaks.

「如果自己家里到处漏水,就很难成为世界值得信赖的网络安全伙伴。」

The leading proponents of this new wave of open-weight fear mongering have effectively been making a falsifiable prediction — that the current open-weight models are going to cause substantial, not seen before AI harms by crippling our cyber infrastructure.

「这波新一轮开源模型恐慌论的主要鼓吹者,实际上是在做一个可证伪的预测——即现有的开源模型将造成前所未见的重大AI危害,让我们的网络基础设施陷入瘫痪。」

If Claude Mythos was accidentally released as open-weight, it seems like the world would have been more or less fine.

「如果Claude Mythos当初不小心被当作开源模型放出去,这个世界差不多还是没事的。」

数字与实体

对标Kimi K3的全面安全评测成本数千万美元算力1:34
GLM-5.3模型权重发布至今的时间超过一个月1:34

术语

open-weight models开放权重模型
公开发布模型权重文件、任何人可下载在本地运行的模型
offense-defense gap攻防差距
攻击能力的增长速度超过防御/护栏能力增长,二者之间被拉开的差距
air-gapped networks物理隔离网络
物理上断开外部连接、无法联网的高安全等级网络环境
FelonyBenchFelonyBench
文中提及的一个汇总AI相关网络犯罪/滥用案例的评测基准

收听指南

谁该听

关注中美AI竞争、开源模型监管政策、网络安全风险辩论的政策研究者与AI从业者。

可跳过

结尾订阅提示(9:04起)可以跳过。