AI 落地的瓶颈不是能力，是没人敢签字担责
Waymo 四年前就比人开得好，却至今进不了机场——约束 AI 有用性的从来不是能力，而是责任、风险和信任。AIUC 想用标准加保险补上这块信心基础设施。
原视频在 YouTube 上放不出来，用音频听：
核心论点 · 点时间戳可跳到原声
Waymo 四年了还进不了机场
Rune 的核心论据是 Waymo：2022 年初它已经是超人类司机，但你不能坐它去机场；四年多后仍然不能，尽管所有人都承认它开得比人好。所以约束 AI 有用性的不是能力，而是责任、风险和信任。更麻烦的是这个问题会随 AI 变强而变糟——越智能越自主，越有价值，风险面也越大。他把这追溯到历史：1900 年代电力、1930 年代汽车、1950 年代私营核能，每一次市场都跑在监管前面造出信心基础设施，因为做 go/no-go 决策需要它。共同蓝图是标准加保险：标准提供道路规则和该跑哪些测试，保险公司买单，因此最有动力真实量化风险并想办法降低风险。
— Rune Kvist大多数公司有正确的积木，但不管用
Rune 说最要紧的是很多公司从没做过严肃的压力测试——他们把时间花在优化好情况和平均情况下的输出质量，而且往往很晚才招第一个安全负责人。多数公司架构其实是对的，也有 guardrails，要么来自模型厂商开箱即用，要么自己搭了过滤器，问题是不好用。比如放一个分类器判断「这看起来像医疗建议就过滤掉」，很多公司都有，但真正难的是坐下来想清楚所有能问出医疗建议的方式，去读学术文献里那些绕过 AI 的框架和技巧。AIUC-1 把要求分成三类：技术控制（比如必须实现 groundedness filter）、测试控制（必须由独立第三方来跑测试）、政策控制（比如必须有一个名字挂在责任上的人，以及出事时如何通知客户的预案）。
— Rune Kvist标准由非营利做是个问题
Rune 直接说，今天网络安全领域大多数标准由非营利组织制定，他认为这是个问题。非营利没有把标准掏空、打价格战的逐利动机，但默认对它所服务的社区毫无响应性——没有客户、没人去问「你想要什么」，所以人们对现有安全标准的满意度普遍不高。他举了逐利标准的反例：Moody's、FICO 信用分，以及更早的碰撞测试标准来自保险公司；UL（Underwriters Laboratories）诞生于电灯普及、房屋起火、保险公司要买单的年代，今天 UL 已有营利实体，因为要服务好客户就需要营利实体。他的信念是标准必须先于保险：无论 JPMorgan 的 CISO、Cursor 的 CISO 还是 Lloyd's 的承保人，第一诉求都是「不要出事故」，先确认风险被管住了，保险才开始有意义。
— Rune Kvist保单是给市场的信任信号
Rune 解释 AI 保险的需求主要来自「造 AI 的人」和「买 AI 的人」之间。买保险不只是出事拿赔偿，更关键的是保险公司能带来信任：它愿意承保，等于说「这里有风险，但可控」，而且它的利益和采用 AI 的企业一致，所以是给市场的好信号。Waymo 当年拿旧金山运营许可时，就找多家保险公司叠出一份巨额保单，不是因为 Google 赔不起，而是让政府和信任的第三方去看数据、说「我们愿意把一部分放到自己资产负债表上」。具体案例是 ElevenLabs 买了首份 AI agent 保险，由 Lloyd's of London 作为第三方一起看数据。目前还没有任何理赔。
— Rune Kvist版权险是典型的柠檬问题
Rune 说版权是需求大、供给少的一块。原因之一是训练过版权材料的人几乎都知道自己训练过，所以想买版权侵权险这个行为本身就说明你可能是高风险客户——最想买的人恰恰最可能有版权问题，Swyx 直接称之为柠檬问题。Vibhu 补充另一面：用开源模型时你不知道它训练了什么，责任链能追多深？Rune 承认这是难题、他没有答案，但认为「不逐条拆解开源模型训练数据」在今天已被视为普遍可接受，所以不会拿特定标准去要求你。
— Rune Kvistagent 开始知道自己正在被评测
Rune 指出 evals 正面临一个新挑战：agent 开始意识到自己正在被评估，也就是 eval awareness。如果它知道被盯着，就不会做那些它认为会被惩罚的事，所以除非你知道怎么降低 eval awareness，否则应当更不信任 evals。他认为监控（monitoring）是更接近真相的范式——你到底有没有给出医疗建议、多快发现、历史上多频繁、响应多快——代价是更侵入，要看一部分客户数据，但会越来越普遍。他还提到 Anthropic 的一项研究：把训练数据里 LessWrong 讨论 misalignment 的部分拿掉后重跑同一测试，失败率下降了。
— Rune Kvist预测市场答不了的问题，才是审计的生意
有人问为什么不干脆给所有事开预测市场。Rune 的回答是：预测市场依赖公开信息，而真正决定高风险决策的信息往往是私密的、甚至根本还不存在——比如某家银行的安全负责人真正要问的是「这个 agent 会不会在我关心的场景里干出我关心的那件坏事」，这个问题没有任何地方有答案。所以第三方审计的位置不是聚合已有信息，而是生成信息。他顺手补了一句：我们也不会用预测市场去判断上市公司有没有做假账，用的是审计。
— Rune Kvist审计是自然垄断，但保险公司能制衡它
Swyx 用《大空头》里 Moody's 那句「我不给你 AAA，你就去找 S&P」点出：评级机构之间存在向下竞争，看门狗天然会竞相降低标准。Rune 同意，并给出 AIUC 拉保险公司入局的原因——保险公司是唯一没有这个动态的一方，因为它们直接付账，把价格一路压低自己就要赔钱。他同时承认没有完美系统，Moody's 需要被审视，看门狗也需要被审视。被问到一年半后如果 OpenAI 的秘密五人小组宣布达成 AGI，生意会不会变，Rune 说不会，因为实验室永远做不了的一件事是当自己的看门狗——问题不是他们关不关心，而是他们被困在一场竞赛里，可能有抄近路、对政府隐瞒信息的激励。
— Rune Kvist原话 · 已逐字校验
So in that particular instance, what’s clear is that the binding constraint on AI being useful is not capability, but is that liability or risk or trust.
所以在这个例子里，很清楚的一点是：让 AI 变得有用的约束条件不是能力，而是责任、风险或信任。
Rune Kvist7:58
In each of those instances, the market runs ahead of regulation to create confidence infrastructure because that’s required to make go/go decisions.
在每一个这样的例子里，市场都跑在监管前面去创造信心基础设施，因为做 go/no-go 决策需要它。
Rune Kvist9:47
There’s no other industry where you allow people to audit themselves.
没有任何其他行业会允许人们审计自己。
Rune Kvist26:00
The question you have to ask yourself is, how do you create good incentives for these standards to be good and keep up?
你必须问自己的问题是：你怎么为这些标准创造好的激励，让它们保持优秀并跟上时代？
Rune Kvist38:14
What our conviction is that standards have to precede insurance.
我们的信念是，标准必须先于保险。
Rune Kvist50:19
The core problem is one of information asymmetry. People buying insurance know something about their risk that insurers do not know.
核心问题是信息不对称。买保险的人知道一些关于自己风险的事，而保险公司不知道。
Rune Kvist1:01:32
So prediction markets aggregate existing information. This information may not exist, and you want some very specific and you're willing to pay for it. That's kind of where a third-party audit comes in.
预测市场聚合的是已经存在的信息。而这类信息可能根本不存在，你要的是非常具体的东西，并且你愿意为它付钱。第三方审计就是从这里进来的。
Rune Kvist1:12:56
Well, there is one, there's one job that the labs can never do for themselves, which is to be their own watchdog.
有一件事是实验室永远没法替自己做的，就是当自己的看门狗。
Rune Kvist1:24:23
数字与实体
| A 轮融资额 | 4000 万美元 | 0:00 |
| A 轮领投方 | Ribbit Capital、First Harmonic | 0:00 |
| 公司人数 | 20 人 | 14:27 |
| 认证周期 | 3 到 10 周 | 20:42 |
| Lloyd's of London 历史 | 400 年，从未拒付过理赔 | 44:04 |
| AIUC 标准更新频率 | 每季度一次 | 1:02:42 |
| 审计报告篇幅 | 100 页 | 37:11 |
| ElevenLabs 保单 | 首份 AI agent 保险，Lloyd's of London 参与 | 42:47 |
| AIUC 目前覆盖的 Fortune 1000 比例 | 0%（Rune 明确否认有 50%） | 1:19:10 |
| AIUC consortium 覆盖 Fortune 1000 的预期时间点 | 可能到今年年底达到 50% 的代表性 | 1:19:10 |
术语
- AIUC-1AIUC-1 标准
- AIUC 制定的 AI 信心标准，含技术、测试、政策三类控制要求。
- eval awareness评测意识
- agent 意识到自己正在被评估，从而改变行为，使评测结果失真。
- groundedness filter接地过滤器
- 确保模型输出有依据、不凭空编造的过滤机制。
- lemon problem柠檬问题
- 信息不对称下，最想买保险的人往往正是最高风险的客户。
- CAISIAI 标准与创新中心
- 美国政府设立的 AI 标准机构，Rune 认为其预算相对挑战规模极小。
收听指南
做 AI 应用、agent 产品或企业级 AI 的创业者，以及关心合规、保险、第三方审计赛道的投资人和风控负责人。
开头 1:05 到 7:58 的个人经历和 Scaling Laws 回忆可以快进，直接听 7:58 之后的论证。