开源模型经手五六层中介,EU AI Act 的问责缺口谁来补
开放权重不等于开放可信;开源模型经手五六层中介后责任归属模糊,EU AI Act 的豁免设计可能留下结构性问责缺口,欧洲需要分层责任与耐心资本。
原视频在 YouTube 上放不出来,用音频听:
核心论点 · 点时间戳可跳到原声
不该要公众更信任,该要技术更可信
她先把「信任」在技术语境里拆成四种含义:工程上的可靠性和可依赖性;密码学里的零信任范式——「永不信任,始终验证」;制度信任,即信任公司的政策、激励和问责机制;还有认识论信任,即技术告诉我们的东西是否为真。维基百科有可核查性规范、新闻业有信源核查、学术界有引用系统,但 AI 正在同时挑战这些机制。她的结论是:比起要求公众更信任技术,更应要求技术和其背后的机构更可信。
— Sebnem Erener开放是光谱不是开关,豁免却按开关设计
EU AI Act 为通用目的 AI 模型设了分层义务,却为开源模型留出例外:只要用开放许可发布、不商业化、公开权重,就免除部分义务。表面逻辑成立——权重都公开了,再叠合规负担没有意义。但她指出:开放不是开关而是光谱,「不商业化」在开源生态含义模糊;更关键的是,这套法律默认一个单一责任方,即「一个公司把模型投放市场」,这与开源生态的现实不符。
— Sebnem Erener开源模型经手五六方,法律只认一方
一个开源模型上传到 Hugging Face 后,会被推理平台服务、被聚合器路由、在第三方基础设施上微调,最终到达终端用户时,已经有五六方中介接触过它并施加了某种控制。法律体系普遍假设模型由单一公司投放市场,在此链条上完全不成立。她研究的核心就是找出这些中介在下游责任链上的缺口。这也是她认为开放越深入、治理复杂度越高的实体例证。
— Sebnem Erener没有审计的开放会降低信任,不是提高
她给出的回应不是把责任全压在原始开发者,而是分层:开发者承担文档、风险评估和已知滥用风险的主要责任;托管平台、微调者、部署者,甚至故意滥用的终端用户各负其责。同时她强调,开放是分配访问权和参与权的机制,不会自动带来透明、公平;负责任的开放还需要独立审计、渐进式发布、事件报告和社区治理。缺了这些,开源反而会降低信任,因为没人知道模型扩散后该追责谁,而闭源模型至少责任指向明确。
— Sebnem Erener欧洲技术主权不能用同一条时间线判断
欧洲技术主权包裹里有几条速度完全不同的时间线:法律主权推进最快——Cloud and AI Development Act 已要求数据位于欧盟、由欧盟所有和控制;模型主权中速——20 个机构的 Open Euro LLM 下月发布首个行业模型,意大利公司 Domin 牵头的 Europa 要挑战世界最强;硬件主权最慢——芯片法案到 2035 年才投入两千亿欧元。最大风险是把所有事捆成一条时间线,统一产生乐观或悲观。应该对快的事果断,对慢的事保持耐心。
— Sebnem Erener开放模型赢了数量,治理难度也翻倍
她原本预想未来是「模型层开放、agent 层封闭」,但现实不是这样。开放权重模型在数量上占优:最大模型路由器约 60% 的 token 来自中国开放模型,全球使用最多的五个模型里四个是中国开放模型;美国闭源实验室不靠开源应战,而是用不同价值捕获策略分割市场。混合格局意味着两套治理都要做对:开源侧要有审计基础设施、可解释性和事件响应,闭源侧要有明确责任主体——这是最复杂的治理场景。
— Sebnem Erener欧洲公司不是做不出来,是太早被收购
被问欧洲最需要什么,她的答案直接得有点反直觉:资本。具体是增长阶段资本——耐心、能容忍风险、能陪到后期的资本。欧洲不缺创新,缺的是不让公司过早被买走的耐心资本;欧洲公司不是做不出来,而是太早被收购。她希望出现相信欧洲未来、相信欧洲创始人的投资者。这一条把技术主权讨论从模型、芯片拉回到金融基础设施,是容易被忽略的一层。
— Sebnem Erener系统越自主,人的责任越重而不是越轻
她担心「agency」这个词在 AI 讨论里被混用。agentic AI 的 agency 指系统自主执行任务,AI 正在快速获得这种能力;但法律意义上的 agency 指一个有意图、能理解后果、可以被追责的实体,这专属于自然人或法人。一个人可以被起诉、罚款、追究责任,AI 模型再自主也不能。系统越自主,人类的和公司的责任反而越重,而不是被转移给模型。语言上的混淆会暗示模型能承担本应由人承担的责任。
— Sebnem Erener原话 · 已逐字校验
It's actually the paradigm is zero trust. It's the philosophy is never trust, always verify. So it's the rejection of trust.
这实际上是零信任范式。它的哲学是永不信任、始终验证,所以这是对信任的否定。
Sebnem Erener2:01
I care about trustworthiness more than trust.
我更关心的是可信赖性,而不是信任本身。
Sebnem Erener3:06
So by the time it reaches an end user, there are five or six intermediaries that touch it and exercise some sort of control.
所以当它到达终端用户手上时,已经有五六个中介接触过它并施加了某种控制。
Sebnem Erener5:11
So in open source AI, like, because everyone has access doesn't mean that no one is responsible.
所以,在开源 AI 中,因为人人都有访问权,并不意味着没有人需要负责。
Sebnem Erener11:37
It should be best understood as a mechanism for distributing access and participation rights.
开放最好被理解为一种分配访问权和参与权的机制。
Sebnem Erener12:41
Trust in AI right now feels a bit borrowed and a little bit incomplete.
现在对 AI 的信任感觉有点像借来的,而且有点残缺不全。
Sebnem Erener20:02
It's a boring answer, but capital. Growth stage capital, patient, risk tolerance, late stage capital.
答案很无聊,就是资本。增长阶段的资本,耐心、能承受风险、能陪到后期的资本。
Sebnem Erener22:05
A person can be sued, fined, held liable. An AI model cannot as much as they are agentic.
一个人可以被起诉、罚款、追究责任。AI 模型无论多么 agentic 也做不到。
Sebnem Erener23:10
数字与实体
| 开源模型到达终端用户前接触的中介数 | 5-6 个 | 5:11 |
| Open Euro LLM 联盟机构数 | 20 个 | 15:56 |
| 欧盟芯片法案(Chips Act)目标 | 2000 亿欧元(2035 年) | 16:56 |
| 最大模型路由器中中国开放权重模型的 token 占比 | 约 60% | 19:02 |
| 全球使用最多的五个模型中的中国开放模型数 | 4 个 | 19:02 |
术语
- zero trust零信任
- 安全范式:默认不信任任何实体,每次访问都要验证。
- open washing开放洗白
- 只公开权重就宣称开源,却不披露训练数据等关键信息。
- general purpose AI models通用目的 AI 模型
- EU AI Act 对覆盖广泛任务的 AI 模型的分类,前沿模型的主体。
- layered responsibility分层责任
- 沿价值链分配责任:开发者、托管者、微调者、部署者、用户各有其责。
收听指南
做开源模型、研究 EU AI Act 合规或评估欧洲市场机会的创业者、投资人和模型供应链工程师。
开场 0:00 到 1:00 的嘉宾介绍可跳过;之后信息密度高,建议听完。