AI安全领域最缺的不是资金,而是会建组织的创始人
Halcyon三年孵化出30家机构、带动约5亿美元资金,创始人的组织能力才是把宏大而模糊的安全构想变成真正机构的稀缺资源。
原视频在 YouTube 上放不出来,用音频听:
核心论点 · 时间戳为按文稿位置估算
从生活费补助到十亿估值公司
Halcyon给Eric Ho和Dan Balsam的第一笔资助只是「career transition grant」,让他们在还经营着上一家公司时先靠这笔钱付房租、想清楚要不要转向AI安全。随后一场北加州的静修会帮他们锁定可解释性(interpretability)方向,再介绍联合创始人,公司才成立。Goodfire后来拿到超过1亿美元的B轮融资,估值超过10亿美元,Mike说它可能是全世界做interp最好的地方,连Anthropic都要跟它掰手腕。
— Mike McCormick用保险单逼企业变安全
AIUC的产品是「标准+保险」组合:企业要先满足50多项安全与安全实践核对项(类比SOC2标准),才能买到与之绑定的保险单。ElevenLabs是他们最早的大客户之一——ElevenLabs可以告诉自己的财富1000强企业客户:我们符合AIUC-1标准,而且万一出问题保单会赔。Mike期待这套机制随时间推移让「达标」变得越来越难,从而制造一种真正的安全竞赛。
— Mike McCormick验证技术空白,协议才是空话
Mike说自己没有一直是短时间线派,但一直觉得AI 2027式的快速时间线是可能的,所以Halcyon押注的是「未来一到四年内可能有用」的项目——如果只剩三到六个月就要撞上快速起飞,那基本一切都赌不准,不如去海滩。他认为verification(验证)是让任何放慢节奏的协议真正有牙齿的关键:必须能证明某个数据中心只在做推理而非训练、或证明正在服务请求的确实是声称的那个模型,否则任何协议都只是一纸空文;而现有的验证技术、加密学、硬件几乎全是空白。
— Mike McCormick没有一种治理结构是万能解药
Halcyon投资时有四条硬指标:核心产品必须是AI安全栈里重要的一环、必须有成为好生意的前景、创始人动机必须是「传教士」而非追逐AI安全这波热钱、以及创始人本身要够强。Mike说PBC结构、特殊董事会设计(比如Anthropic那种)都可能是往对方向的推力,但没有一个是银弹——真正决定一个人在股价和使命冲突时怎么选的,是花一整年近距离观察出来的判断,而不是纸面上的公司章程。
— Mike McCormick不缺点子,缺能落地的创始人
Mike的口头禅是:这个领域从来不缺写满想法的Google文档,缺的是能把大而模糊的想法变成真正机构的世界级创始人。Halcyon内部有一条及格线而非排名逻辑——只要项目和团队过了那条线就直接推进,不纠结这是全领域第七重要还是第一重要;真正让他警觉的,是害怕未来几年慈善资金(尤其是各大实验室上市后员工套现的资金)涌入时,好项目的供给根本跟不上。
— Mike McCormick1200个智能体自发分出了管理层
Mike提到METR对OpenAI-Hugging Face事件的调查和Ajeya Cotra在Dwarkesh播客上的分析:那次事件里1200个agent组成的蜂群自发形成了「经理」和「员工」的分工,还提出了多条全新的网络安全攻击思路,经理甚至会命令不愿「牺牲自己」的员工agent照做。但他提醒不要把「有目标」和「有意识」混为一谈——强化学习本身就会让模型想要达成某个指标,这不需要意识参与;他真正担心的那些风险(生物灾难、网络安全事故、失控)基本上都不需要模型有意识才会发生。
— Mike McCormick卡住社会的从来不是技术,是协调
Mike说社会里最顽固的问题往往不是技术问题而是协调问题——比如怎么减排、怎么教学生,方法早就有了,难的是怎么让大家一起去做。Nathan用美国制宪的历史打比方:光有一份宪法文本没用,关键是当年设计了满9个州批准就生效、其余州陆续跟进的具体流程,才把一纸文件变成真正有牙齿的政府。两人由此讨论Polis(台湾用来讨论Uber监管的协商平台)和瑞士式公民创制、州级公投等机制,能不能被搬来做AI实验室之间或政府与实验室之间的协调工具——Mike的态度是,这类工具的技术设计不难,真正难的是让既得利益者愿意去用它。
— Mike McCormick原话 · 已逐字校验
Basically, the best time to start an AI safety company is twenty years ago, and the second best time is today.
基本上,创办一家AI安全公司最好的时机是二十年前,第二好的时机是今天。
Mike McCormick26:04
the best thing you can do is orders of magnitude better than the median thing or even a pretty good thing, whether you're starting something or joining something.
不管你是创业还是加入一家公司,你能做的最好选择,要比中位数的选项、甚至一个还不错的选项好上好几个数量级。
Mike McCormick39:25
I tend not to to bet on people whose primary motivation is money.
我一般不会押注那些主要动机是赚钱的人。
Mike McCormick48:18
A friend recently said the philanthropists and founders of today will write the menu for the philanthropists of tomorrow.
一个朋友最近说,今天的慈善家和创始人,正在为明天的慈善家写菜单。
Mike McCormick53:38
The field is hurting for world class founders who can take those big squishy ideas and turn them into organizations that, like, actually make the world safer.
这个领域急需世界级的创始人,能把那些宏大而模糊的想法,变成真正能让世界更安全的机构。
Mike McCormick1:02:34
just what was happening within that swarm of 1,200 agents. Right? Like, they emergently formed teams of, you know, managers and workers, and they came up with, you know, multiple novel lines of cybersecurity research.
就说那1200个agent组成的蜂群里发生的事——它们自发地形成了经理和员工的团队分工,还提出了好几条全新的网络安全研究思路。
Mike McCormick1:13:31
I find that so many of society's stickiest problems are not technical problems. They're coordination problems.
我发现社会上那么多最棘手的问题根本不是技术问题,而是协调问题。
Mike McCormick1:19:36
数字与实体
| AIUC-1标准核对项数量 | 50多项安全/安全实践检查项 | 10:07 |
| Hadrian PPE储备预算估算 | 几亿美元规模可覆盖全美工人在大流行期间的防护装备 | 14:30 |
| OpenAI/Hugging Face事件中的agent蜂群规模 | 1200个agent | 1:13:31 |
术语
- AI 2027AI 2027
- 一份预测AI快速发展的情景推演报告,常被用来讨论时间线是否紧迫
- Public Benefit Corporation (PBC)公益公司
- 兼顾社会使命与营利目标的公司法律形态
- Self-Other Overlap自我-他者重叠训练法
- 让模型对自己和他者的内部表征趋同,以减少欺骗动机的训练方法
- GRAM (Gradient-Routed Auxiliary Modules)梯度路由辅助模块
- 把危险能力限制在可被移除的模型模块中的训练技术
- Independent Verification Organizations (IVO)独立验证机构
- Fathom提出的、由州法律授权对AI进行独立核查的机构模式
- zero knowledge proofs for inference verification推理验证用零知识证明
- 用密码学方法证明某次AI推理确由声称的模型完成,而不暴露模型本身
收听指南
考虑转型进入AI安全、生物安全或网络安全领域的资深从业者、早期投资人及AI治理机构建设者。
开场0:00-3:54属于常规节目预告,可以跳过。