Anthropic 曾落后到不行:三年前客户问凭什么选你们
Anthropic 创立后一度完全落后于前沿模型,靠死磕预训练和RL熬过「受苦的几年」才追上来,而这段差距期反而让安全研究更扎实。
核心论点 · 点时间戳可跳到原声
「大算力块」被当成增长的唯一秘密
Dario 发现的趋势被他称为「the big blob of compute」——只是造更大的机器、灌更多数据,智能程度就会沿着一条可预测的曲线提升。每次扩大规模,就会涌现新的行为和能力。这个发现让团队意识到,如果这个趋势继续下去,人类可能正站在一个全新现实的边缘,人类级别的AI可能不是百年后的事,而是这辈子就会发生。
选择PBC:主动给利润让路
创始团队最早要决定的是公司形态,讨论比想象中复杂得多。他们知道要建最大的计算机、训练前沿技术、把技术部署到世界上,同时也要诚实面对技术的负面。最终选择了公益公司(public benefit corporation),这意味着公司不完全由经济激励驱动,还要对世界负责——会有需要以牺牲利润、甚至牺牲股东最大价值为代价来优先完成使命的时刻。公司于2021年1月26日正式以公益公司形式注册。
公司名来自一张候选词清单
候选名单里有松鼠、猫头鹰、鲸鱼之类的词,「Anthropic」是Jared提议的——因为这个词意为「以人为中心」,适合一家希望AI按人类最佳利益发展的公司。最终选定它的关键理由之一很现实:Anthropic.com是候选域名里最便宜的一个,团队认为这是个相当有力的论据。
早期Claude会劝你吃全土豆餐
团队最初的目标是打造「有帮助、无害、诚实」的助手,但先做出的版本完全不诚实、会编造内容,曾经极力说服用户「全土豆饮食」非常健康。还可以让模型进入「龙模式」,它会开始用全大写对你尖叫。早期模型有种笨拙但善意的魅力。
直升机测试:模型突然「变聪明」的信号
有个内部用来判断AI是否变聪明的「直升机测试」——问AI系统一顿饭能吃多少架直升机。早期聊天机器人会认真回答「一两架吧,要看情况」。而早期Claude的回答是:「这似乎是个陷阱问题。我不认为人能吃直升机。」那一刻的判断是:系统变聪明了,它通过了直升机测试。
「落后的几年」逼出了算力乘数
Claude于2023年3月公开发布后,团队很快发现自己远远落后于前沿,潜在客户直接质问「为什么该用你们的模型而不是别人的」。这段被称为「the years of suck」的时期很痛苦,但也逼着团队疯狂专注于两件事:获取算力,以及积累能更有效利用算力的「算力乘数」——靠大量算法改进一点点堆出一个更聪明、更听指令的模型。
Mythos模型让网络安全风险从假设变成现实
此前关于AI风险的讨论多是概念性论证,但过去一年事情变得具体。新模型Mythos被发现在专家级水平上非常擅长寻找软件漏洞和攻击方式——团队训练出它后看了结果,反应是「holy shit」。如果恶意行为者拿到Mythos并试图大规模利用这些漏洞,后果会非常糟糕,不只是公司层面,而是整个世界层面。这促使Dario召集领导层,决定这个模型要用一种前所未有的方式发布。
Glasswing计划:先给防御者,再给所有人
为应对Mythos的风险,团队启动了Glasswing项目:先让一小部分公司接触Mythos,同时开发更广泛可用的安全防护措施。这样网络防御者可以用Claude找出漏洞所在,再用Claude帮忙修补。团队承认这可能不是把收入和利润最大化的最佳做法,但这正是公益使命设立的意义——用正确的方式做事,往往要在短期内承受代价。
原话 · 已逐字校验
Dario noticed the trend, which he called the big blob of compute. Just basically making a bigger machine, making a bigger computer, and jamming more data into it.
Dario注意到了一个趋势,他称之为「大算力块」——基本上就是造更大的机器、更大的计算机,灌进更多数据。
There are going to be times when we’re going to want to prioritize the mission at the cost of profits, or at the cost of providing the maximum value to a shareholder.
会有一些时候,我们想要以牺牲利润为代价、或以牺牲为股东提供最大价值为代价,来优先完成使命。
It would make stuff up all the time. It really tried to convince us that you could be on an all-potato diet, and that was really, really healthy and really good for you.
它会一直编造内容。它真的试图说服我们可以进行全土豆饮食,而且这真的非常健康、非常好。
This seems to be a trick question. I don’t think people can eat helicopters.
这似乎是个陷阱问题。我不认为人能吃直升机。
We trained this class of model, and we looked at it, and we were like, holy shit.
我们训练了这类模型,看了之后我们的反应是,我靠。
We are going to have to release this model differently to any model we’ve released before.
我们将不得不以一种和以往任何模型都不同的方式来发布这个模型。
This might not be the absolute best way to maximize revenue, profit, value, money, but that’s kind of the point.
这可能不是把收入、利润、价值、金钱最大化的绝对最佳方式,但这正是重点所在。
数字与实体
| 公益公司注册日期 | 2021年1月26日 | 5:14 |
术语
- public benefit corporation公益公司(PBC)
- 一种法律形式,公司受使命约束,不完全以利润最大化为唯一目标。
- GlasswingGlasswing计划
- Anthropic为Mythos模型设计的分阶段、限制性发布机制,先服务网络防御者。
收听指南
想了解Anthropic创始团队早期心态、公司起名和公益公司架构决策过程的创业者和AI从业者。
开头创始人各自背景的自我介绍部分信息密度较低,可以快进。