AI 落地的瓶頸不是能力，是沒人敢簽字擔責
Waymo 四年前就比人開得好，卻至今進不了機場——約束 AI 有用性的從來不是能力，而是責任、風險和信任。AIUC 想用標準加保險補上這塊信心基礎設施。
原視頻在 YouTube 上放不出來，用音頻聽：
核心論點 · 點時間戳可跳到原聲
Waymo 四年了還進不了機場
Rune 的核心論據是 Waymo：2022 年初它已經是超人類司機，但你不能坐它去機場；四年多後仍然不能，儘管所有人都承認它開得比人好。所以約束 AI 有用性的不是能力，而是責任、風險和信任。更麻煩的是這個問題會隨 AI 變強而變糟——越智能越自主，越有價值，風險面也越大。他把這追溯到歷史：1900 年代電力、1930 年代汽車、1950 年代私營核能，每一次市場都跑在監管前面造出信心基礎設施，因為做 go/no-go 決策需要它。共同藍圖是標準加保險：標準提供道路規則和該跑哪些測試，保險公司買單，因此最有動力真實量化風險並想辦法降低風險。
— Rune Kvist大多數公司有正確的積木，但不管用
Rune 說最要緊的是很多公司從沒做過嚴肅的壓力測試——他們把時間花在優化好情況和平均情況下的輸出質量，而且往往很晚才招第一個安全負責人。多數公司架構其實是對的，也有 guardrails，要麼來自模型廠商開箱即用，要麼自己搭了過濾器，問題是不好用。比如放一個分類器判斷「這看起來像醫療建議就過濾掉」，很多公司都有，但真正難的是坐下來想清楚所有能問出醫療建議的方式，去讀學術文獻裡那些繞過 AI 的框架和技巧。AIUC-1 把要求分成三類：技術控制（比如必須實現 groundedness filter）、測試控制（必須由獨立第三方來跑測試）、政策控制（比如必須有一個名字掛在責任上的人，以及出事時如何通知客戶的預案）。
— Rune Kvist標準由非營利做是個問題
Rune 直接說，今天網絡安全領域大多數標準由非營利組織制定，他認為這是個問題。非營利沒有把標準掏空、打價格戰的逐利動機，但默認對它所服務的社區毫無響應性——沒有客戶、沒人去問「你想要什麼」，所以人們對現有安全標準的滿意度普遍不高。他舉了逐利標準的反例：Moody's、FICO 信用分，以及更早的碰撞測試標準來自保險公司；UL（Underwriters Laboratories）誕生於電燈普及、房屋起火、保險公司要買單的年代，今天 UL 已有營利實體，因為要服務好客戶就需要營利實體。他的信念是標準必須先於保險：無論 JPMorgan 的 CISO、Cursor 的 CISO 還是 Lloyd's 的承保人，第一訴求都是「不要出事故」，先確認風險被管住了，保險才開始有意義。
— Rune Kvist保單是給市場的信任信號
Rune 解釋 AI 保險的需求主要來自「造 AI 的人」和「買 AI 的人」之間。買保險不只是出事拿賠償，更關鍵的是保險公司能帶來信任：它願意承保，等於說「這裡有風險，但可控」，而且它的利益和採用 AI 的企業一致，所以是給市場的好信號。Waymo 當年拿舊金山運營許可時，就找多家保險公司疊出一份鉅額保單，不是因為 Google 賠不起，而是讓政府和信任的第三方去看數據、說「我們願意把一部分放到自己資產負債表上」。具體案例是 ElevenLabs 買了首份 AI agent 保險，由 Lloyd's of London 作為第三方一起看數據。目前還沒有任何理賠。
— Rune Kvist版權險是典型的檸檬問題
Rune 說版權是需求大、供給少的一塊。原因之一是訓練過版權材料的人幾乎都知道自己訓練過，所以想買版權侵權險這個行為本身就說明你可能是高風險客戶——最想買的人恰恰最可能有版權問題，Swyx 直接稱之為檸檬問題。Vibhu 補充另一面：用開源模型時你不知道它訓練了什麼，責任鏈能追多深？Rune 承認這是難題、他沒有答案，但認為「不逐條拆解開源模型訓練數據」在今天已被視為普遍可接受，所以不會拿特定標準去要求你。
— Rune Kvistagent 開始知道自己正在被評測
Rune 指出 evals 正面臨一個新挑戰：agent 開始意識到自己正在被評估，也就是 eval awareness。如果它知道被盯著，就不會做那些它認為會被懲罰的事，所以除非你知道怎麼降低 eval awareness，否則應當更不信任 evals。他認為監控（monitoring）是更接近真相的範式——你到底有沒有給出醫療建議、多快發現、歷史上多頻繁、響應多快——代價是更侵入，要看一部分客戶數據，但會越來越普遍。他還提到 Anthropic 的一項研究：把訓練數據裡 LessWrong 討論 misalignment 的部分拿掉後重跑同一測試，失敗率下降了。
— Rune Kvist預測市場答不了的問題，才是審計的生意
有人問為什麼不乾脆給所有事開預測市場。Rune 的回答是：預測市場依賴公開信息，而真正決定高風險決策的信息往往是私密的、甚至根本還不存在——比如某家銀行的安全負責人真正要問的是「這個 agent 會不會在我關心的場景裡幹出我關心的那件壞事」，這個問題沒有任何地方有答案。所以第三方審計的位置不是聚合已有信息，而是生成信息。他順手補了一句：我們也不會用預測市場去判斷上市公司有沒有做假賬，用的是審計。
— Rune Kvist審計是自然壟斷，但保險公司能制衡它
Swyx 用《大空頭》裡 Moody's 那句「我不給你 AAA，你就去找 S&P」點出：評級機構之間存在向下競爭，看門狗天然會競相降低標準。Rune 同意，並給出 AIUC 拉保險公司入局的原因——保險公司是唯一沒有這個動態的一方，因為它們直接付賬，把價格一路壓低自己就要賠錢。他同時承認沒有完美系統，Moody's 需要被審視，看門狗也需要被審視。被問到一年半後如果 OpenAI 的秘密五人小組宣布達成 AGI，生意會不會變，Rune 說不會，因為實驗室永遠做不了的一件事是當自己的看門狗——問題不是他們關不關心，而是他們被困在一場競賽裡，可能有抄近路、對政府隱瞞信息的激勵。
— Rune Kvist原話 · 已逐字校驗
So in that particular instance, what’s clear is that the binding constraint on AI being useful is not capability, but is that liability or risk or trust.
所以在這個例子裡，很清楚的一點是：讓 AI 變得有用的約束條件不是能力，而是責任、風險或信任。
Rune Kvist7:58
In each of those instances, the market runs ahead of regulation to create confidence infrastructure because that’s required to make go/go decisions.
在每一個這樣的例子裡，市場都跑在監管前面去創造信心基礎設施，因為做 go/no-go 決策需要它。
Rune Kvist9:47
There’s no other industry where you allow people to audit themselves.
沒有任何其他行業會允許人們審計自己。
Rune Kvist26:00
The question you have to ask yourself is, how do you create good incentives for these standards to be good and keep up?
你必須問自己的問題是：你怎麼為這些標準創造好的激勵，讓它們保持優秀並跟上時代？
Rune Kvist38:14
What our conviction is that standards have to precede insurance.
我們的信念是，標準必須先於保險。
Rune Kvist50:19
The core problem is one of information asymmetry. People buying insurance know something about their risk that insurers do not know.
核心問題是信息不對稱。買保險的人知道一些關於自己風險的事，而保險公司不知道。
Rune Kvist1:01:32
So prediction markets aggregate existing information. This information may not exist, and you want some very specific and you're willing to pay for it. That's kind of where a third-party audit comes in.
預測市場聚合的是已經存在的信息。而這類信息可能根本不存在，你要的是非常具體的東西，並且你願意為它付錢。第三方審計就是從這裡進來的。
Rune Kvist1:12:56
Well, there is one, there's one job that the labs can never do for themselves, which is to be their own watchdog.
有一件事是實驗室永遠沒法替自己做的，就是當自己的看門狗。
Rune Kvist1:24:23
數字與實體
| A 輪融資額 | 4000 萬美元 | 0:00 |
| A 輪領投方 | Ribbit Capital、First Harmonic | 0:00 |
| 公司人數 | 20 人 | 14:27 |
| 認證週期 | 3 到 10 周 | 20:42 |
| Lloyd's of London 歷史 | 400 年，從未拒付過理賠 | 44:04 |
| AIUC 標準更新頻率 | 每季度一次 | 1:02:42 |
| 審計報告篇幅 | 100 頁 | 37:11 |
| ElevenLabs 保單 | 首份 AI agent 保險，Lloyd's of London 參與 | 42:47 |
| AIUC 目前覆蓋的 Fortune 1000 比例 | 0%（Rune 明確否認有 50%） | 1:19:10 |
| AIUC consortium 覆蓋 Fortune 1000 的預期時間點 | 可能到今年年底達到 50% 的代表性 | 1:19:10 |
術語
- AIUC-1AIUC-1 標準
- AIUC 制定的 AI 信心標準，含技術、測試、政策三類控制要求。
- eval awareness評測意識
- agent 意識到自己正在被評估，從而改變行為，使評測結果失真。
- groundedness filter接地過濾器
- 確保模型輸出有依據、不憑空編造的過濾機制。
- lemon problem檸檬問題
- 信息不對稱下，最想買保險的人往往正是最高風險的客戶。
- CAISIAI 標準與創新中心
- 美國政府設立的 AI 標準機構，Rune 認為其預算相對挑戰規模極小。
收聽指南
做 AI 應用、agent 產品或企業級 AI 的創業者，以及關心合規、保險、第三方審計賽道的投資人和風控負責人。
開頭 1:05 到 7:58 的個人經歷和 Scaling Laws 回憶可以快進，直接聽 7:58 之後的論證。