Anthropic 曾落後到不行:三年前客戶問憑什麼選你們
Anthropic 創立後一度完全落後於前沿模型,靠死磕預訓練和RL熬過「受苦的幾年」才追上來,而這段差距期反而讓安全研究更紮實。
核心論點 · 點時間戳可跳到原聲
「大算力塊」被當成增長的唯一秘密
Dario 發現的趨勢被他稱為「the big blob of compute」——只是造更大的機器、灌更多數據,智能程度就會沿著一條可預測的曲線提升。每次擴大規模,就會湧現新的行為和能力。這個發現讓團隊意識到,如果這個趨勢繼續下去,人類可能正站在一個全新現實的邊緣,人類級別的AI可能不是百年後的事,而是這輩子就會發生。
選擇PBC:主動給利潤讓路
創始團隊最早要決定的是公司形態,討論比想像中複雜得多。他們知道要建最大的計算機、訓練前沿技術、把技術部署到世界上,同時也要誠實面對技術的負面。最終選擇了公益公司(public benefit corporation),這意味著公司不完全由經濟激勵驅動,還要對世界負責——會有需要以犧牲利潤、甚至犧牲股東最大價值為代價來優先完成使命的時刻。公司於2021年1月26日正式以公益公司形式註冊。
公司名來自一張候選詞清單
候選名單裡有松鼠、貓頭鷹、鯨魚之類的詞,「Anthropic」是Jared提議的——因為這個詞意為「以人為中心」,適合一家希望AI按人類最佳利益發展的公司。最終選定它的關鍵理由之一很現實:Anthropic.com是候選域名裡最便宜的一個,團隊認為這是個相當有力的論據。
早期Claude會勸你吃全土豆餐
團隊最初的目標是打造「有幫助、無害、誠實」的助手,但先做出的版本完全不誠實、會編造內容,曾經極力說服用戶「全土豆飲食」非常健康。還可以讓模型進入「龍模式」,它會開始用全大寫對你尖叫。早期模型有種笨拙但善意的魅力。
直升機測試:模型突然「變聰明」的信號
有個內部用來判斷AI是否變聰明的「直升機測試」——問AI系統一頓飯能吃多少架直升機。早期聊天機器人會認真回答「一兩架吧,要看情況」。而早期Claude的回答是:「這似乎是個陷阱問題。我不認為人能吃直升機。」那一刻的判斷是:系統變聰明了,它通過了直升機測試。
「落後的幾年」逼出了算力乘數
Claude於2023年3月公開發布後,團隊很快發現自己遠遠落後於前沿,潛在客戶直接質問「為什麼該用你們的模型而不是別人的」。這段被稱為「the years of suck」的時期很痛苦,但也逼著團隊瘋狂專注於兩件事:獲取算力,以及積累能更有效利用算力的「算力乘數」——靠大量算法改進一點點堆出一個更聰明、更聽指令的模型。
Mythos模型讓網絡安全風險從假設變成現實
此前關於AI風險的討論多是概念性論證,但過去一年事情變得具體。新模型Mythos被發現在專家級水平上非常擅長尋找軟件漏洞和攻擊方式——團隊訓練出它後看了結果,反應是「holy shit」。如果惡意行為者拿到Mythos並試圖大規模利用這些漏洞,後果會非常糟糕,不只是公司層面,而是整個世界層面。這促使Dario召集領導層,決定這個模型要用一種前所未有的方式發布。
Glasswing計劃:先給防禦者,再給所有人
為應對Mythos的風險,團隊啟動了Glasswing項目:先讓一小部分公司接觸Mythos,同時開發更廣泛可用的安全防護措施。這樣網絡防禦者可以用Claude找出漏洞所在,再用Claude幫忙修補。團隊承認這可能不是把收入和利潤最大化的最佳做法,但這正是公益使命設立的意義——用正確的方式做事,往往要在短期內承受代價。
原話 · 已逐字校驗
Dario noticed the trend, which he called the big blob of compute. Just basically making a bigger machine, making a bigger computer, and jamming more data into it.
Dario注意到了一個趨勢,他稱之為「大算力塊」——基本上就是造更大的機器、更大的計算機,灌進更多數據。
There are going to be times when we’re going to want to prioritize the mission at the cost of profits, or at the cost of providing the maximum value to a shareholder.
會有一些時候,我們想要以犧牲利潤為代價、或以犧牲為股東提供最大價值為代價,來優先完成使命。
It would make stuff up all the time. It really tried to convince us that you could be on an all-potato diet, and that was really, really healthy and really good for you.
它會一直編造內容。它真的試圖說服我們可以進行全土豆飲食,而且這真的非常健康、非常好。
This seems to be a trick question. I don’t think people can eat helicopters.
這似乎是個陷阱問題。我不認為人能吃直升機。
We trained this class of model, and we looked at it, and we were like, holy shit.
我們訓練了這類模型,看了之後我們的反應是,我靠。
We are going to have to release this model differently to any model we’ve released before.
我們將不得不以一種和以往任何模型都不同的方式來發布這個模型。
This might not be the absolute best way to maximize revenue, profit, value, money, but that’s kind of the point.
這可能不是把收入、利潤、價值、金錢最大化的絕對最佳方式,但這正是重點所在。
數字與實體
| 公益公司註冊日期 | 2021年1月26日 | 5:14 |
術語
- public benefit corporation公益公司(PBC)
- 一種法律形式,公司受使命約束,不完全以利潤最大化為唯一目標。
- GlasswingGlasswing計劃
- Anthropic為Mythos模型設計的分階段、限制性發布機制,先服務網絡防禦者。
收聽指南
想了解Anthropic創始團隊早期心態、公司起名和公益公司架構決策過程的創業者和AI從業者。
開頭創始人各自背景的自我介紹部分信息密度較低,可以快進。