開源模型經手五六層中介,EU AI Act 的問責缺口誰來補
開放權重不等於開放可信;開源模型經手五六層中介後責任歸屬模糊,EU AI Act 的豁免設計可能留下結構性問責缺口,歐洲需要分層責任與耐心資本。
原視頻在 YouTube 上放不出來,用音頻聽:
核心論點 · 點時間戳可跳到原聲
不該要公眾更信任,該要技術更可信
她先把「信任」在技術語境裡拆成四種含義:工程上的可靠性和可依賴性;密碼學裡的零信任範式——「永不信任,始終驗證」;制度信任,即信任公司的政策、激勵和問責機制;還有認識論信任,即技術告訴我們的東西是否為真。維基百科有可核查性規範、新聞業有信源核查、學術界有引用系統,但 AI 正在同時挑戰這些機制。她的結論是:比起要求公眾更信任技術,更應要求技術和其背後的機構更可信。
— Sebnem Erener開放是光譜不是開關,豁免卻按開關設計
EU AI Act 為通用目的 AI 模型設了分層義務,卻為開源模型留出例外:只要用開放許可發布、不商業化、公開權重,就免除部分義務。表面邏輯成立——權重都公開了,再疊合規負擔沒有意義。但她指出:開放不是開關而是光譜,「不商業化」在開源生態含義模糊;更關鍵的是,這套法律默認一個單一責任方,即「一個公司把模型投放市場」,這與開源生態的現實不符。
— Sebnem Erener開源模型經手五六方,法律只認一方
一個開源模型上傳到 Hugging Face 後,會被推理平臺服務、被聚合器路由、在第三方基礎設施上微調,最終到達終端用戶時,已經有五六方中介接觸過它並施加了某種控制。法律體系普遍假設模型由單一公司投放市場,在此鏈條上完全不成立。她研究的核心就是找出這些中介在下游責任鏈上的缺口。這也是她認為開放越深入、治理複雜度越高的實體例證。
— Sebnem Erener沒有審計的開放會降低信任,不是提高
她給出的回應不是把責任全壓在原始開發者,而是分層:開發者承擔文檔、風險評估和已知濫用風險的主要責任;託管平臺、微調者、部署者,甚至故意濫用的終端用戶各負其責。同時她強調,開放是分配訪問權和參與權的機制,不會自動帶來透明、公平;負責任的開放還需要獨立審計、漸進式發布、事件報告和社區治理。缺了這些,開源反而會降低信任,因為沒人知道模型擴散後該追責誰,而閉源模型至少責任指向明確。
— Sebnem Erener歐洲技術主權不能用同一條時間線判斷
歐洲技術主權包裹裡有幾條速度完全不同的時間線:法律主權推進最快——Cloud and AI Development Act 已要求數據位於歐盟、由歐盟所有和控制;模型主權中速——20 個機構的 Open Euro LLM 下月發布首個行業模型,意大利公司 Domin 牽頭的 Europa 要挑戰世界最強;硬件主權最慢——芯片法案到 2035 年才投入兩千億歐元。最大風險是把所有事捆成一條時間線,統一產生樂觀或悲觀。應該對快的事果斷,對慢的事保持耐心。
— Sebnem Erener開放模型贏了數量,治理難度也翻倍
她原本預想未來是「模型層開放、agent 層封閉」,但現實不是這樣。開放權重模型在數量上佔優:最大模型路由器約 60% 的 token 來自中國開放模型,全球使用最多的五個模型裡四個是中國開放模型;美國閉源實驗室不靠開源應戰,而是用不同價值捕獲策略分割市場。混合格局意味著兩套治理都要做對:開源側要有審計基礎設施、可解釋性和事件響應,閉源側要有明確責任主體——這是最複雜的治理場景。
— Sebnem Erener歐洲公司不是做不出來,是太早被收購
被問歐洲最需要什麼,她的答案直接得有點反直覺:資本。具體是增長階段資本——耐心、能容忍風險、能陪到後期的資本。歐洲不缺創新,缺的是不讓公司過早被買走的耐心資本;歐洲公司不是做不出來,而是太早被收購。她希望出現相信歐洲未來、相信歐洲創始人的投資者。這一條把技術主權討論從模型、芯片拉回到金融基礎設施,是容易被忽略的一層。
— Sebnem Erener系統越自主,人的責任越重而不是越輕
她擔心「agency」這個詞在 AI 討論裡被混用。agentic AI 的 agency 指系統自主執行任務,AI 正在快速獲得這種能力;但法律意義上的 agency 指一個有意圖、能理解後果、可以被追責的實體,這專屬於自然人或法人。一個人可以被起訴、罰款、追究責任,AI 模型再自主也不能。系統越自主,人類的和公司的責任反而越重,而不是被轉移給模型。語言上的混淆會暗示模型能承擔本應由人承擔的責任。
— Sebnem Erener原話 · 已逐字校驗
It's actually the paradigm is zero trust. It's the philosophy is never trust, always verify. So it's the rejection of trust.
這實際上是零信任範式。它的哲學是永不信任、始終驗證,所以這是對信任的否定。
Sebnem Erener2:01
I care about trustworthiness more than trust.
我更關心的是可信賴性,而不是信任本身。
Sebnem Erener3:06
So by the time it reaches an end user, there are five or six intermediaries that touch it and exercise some sort of control.
所以當它到達終端用戶手上時,已經有五六個中介接觸過它並施加了某種控制。
Sebnem Erener5:11
So in open source AI, like, because everyone has access doesn't mean that no one is responsible.
所以,在開源 AI 中,因為人人都有訪問權,並不意味著沒有人需要負責。
Sebnem Erener11:37
It should be best understood as a mechanism for distributing access and participation rights.
開放最好被理解為一種分配訪問權和參與權的機制。
Sebnem Erener12:41
Trust in AI right now feels a bit borrowed and a little bit incomplete.
現在對 AI 的信任感覺有點像借來的,而且有點殘缺不全。
Sebnem Erener20:02
It's a boring answer, but capital. Growth stage capital, patient, risk tolerance, late stage capital.
答案很無聊,就是資本。增長階段的資本,耐心、能承受風險、能陪到後期的資本。
Sebnem Erener22:05
A person can be sued, fined, held liable. An AI model cannot as much as they are agentic.
一個人可以被起訴、罰款、追究責任。AI 模型無論多麼 agentic 也做不到。
Sebnem Erener23:10
數字與實體
| 開源模型到達終端用戶前接觸的中介數 | 5-6 個 | 5:11 |
| Open Euro LLM 聯盟機構數 | 20 個 | 15:56 |
| 歐盟芯片法案(Chips Act)目標 | 2000 億歐元(2035 年) | 16:56 |
| 最大模型路由器中中國開放權重模型的 token 佔比 | 約 60% | 19:02 |
| 全球使用最多的五個模型中的中國開放模型數 | 4 個 | 19:02 |
術語
- zero trust零信任
- 安全範式:默認不信任任何實體,每次訪問都要驗證。
- open washing開放洗白
- 只公開權重就宣稱開源,卻不披露訓練數據等關鍵信息。
- general purpose AI models通用目的 AI 模型
- EU AI Act 對覆蓋廣泛任務的 AI 模型的分類,前沿模型的主體。
- layered responsibility分層責任
- 沿價值鏈分配責任:開發者、託管者、微調者、部署者、用戶各有其責。
收聽指南
做開源模型、研究 EU AI Act 合規或評估歐洲市場機會的創業者、投資人和模型供應鏈工程師。
開場 0:00 到 1:00 的嘉賓介紹可跳過;之後信息密度高,建議聽完。