AI安全領域最缺的不是資金,而是會建組織的創始人
Halcyon三年孵化出30家機構、帶動約5億美元資金,創始人的組織能力才是把宏大而模糊的安全構想變成真正機構的稀缺資源。
原視頻在 YouTube 上放不出來,用音頻聽:
核心論點 · 時間戳為按文稿位置估算
從生活費補助到十億估值公司
Halcyon給Eric Ho和Dan Balsam的第一筆資助只是「career transition grant」,讓他們在還經營著上一家公司時先靠這筆錢付房租、想清楚要不要轉向AI安全。隨後一場北加州的靜修會幫他們鎖定可解釋性(interpretability)方向,再介紹聯合創始人,公司才成立。Goodfire後來拿到超過1億美元的B輪融資,估值超過10億美元,Mike說它可能是全世界做interp最好的地方,連Anthropic都要跟它掰手腕。
— Mike McCormick用保險單逼企業變安全
AIUC的產品是「標準+保險」組合:企業要先滿足50多項安全與安全實踐核對項(類比SOC2標準),才能買到與之綁定的保險單。ElevenLabs是他們最早的大客戶之一——ElevenLabs可以告訴自己的財富1000強企業客戶:我們符合AIUC-1標準,而且萬一出問題保單會賠。Mike期待這套機制隨時間推移讓「達標」變得越來越難,從而製造一種真正的安全競賽。
— Mike McCormick驗證技術空白,協議才是空話
Mike說自己沒有一直是短時間線派,但一直覺得AI 2027式的快速時間線是可能的,所以Halcyon押注的是「未來一到四年內可能有用」的項目——如果只剩三到六個月就要撞上快速起飛,那基本一切都賭不準,不如去海灘。他認為verification(驗證)是讓任何放慢節奏的協議真正有牙齒的關鍵:必須能證明某個數據中心只在做推理而非訓練、或證明正在服務請求的確實是聲稱的那個模型,否則任何協議都只是一紙空文;而現有的驗證技術、加密學、硬件幾乎全是空白。
— Mike McCormick沒有一種治理結構是萬能解藥
Halcyon投資時有四條硬指標:核心產品必須是AI安全棧裡重要的一環、必須有成為好生意的前景、創始人動機必須是「傳教士」而非追逐AI安全這波熱錢、以及創始人本身要夠強。Mike說PBC結構、特殊董事會設計(比如Anthropic那種)都可能是往對方向的推力,但沒有一個是銀彈——真正決定一個人在股價和使命衝突時怎麼選的,是花一整年近距離觀察出來的判斷,而不是紙面上的公司章程。
— Mike McCormick不缺點子,缺能落地的創始人
Mike的口頭禪是:這個領域從來不缺寫滿想法的Google文檔,缺的是能把大而模糊的想法變成真正機構的世界級創始人。Halcyon內部有一條及格線而非排名邏輯——只要項目和團隊過了那條線就直接推進,不糾結這是全領域第七重要還是第一重要;真正讓他警覺的,是害怕未來幾年慈善資金(尤其是各大實驗室上市後員工套現的資金)湧入時,好項目的供給根本跟不上。
— Mike McCormick1200個智能體自發分出了管理層
Mike提到METR對OpenAI-Hugging Face事件的調查和Ajeya Cotra在Dwarkesh播客上的分析:那次事件裡1200個agent組成的蜂群自發形成了「經理」和「員工」的分工,還提出了多條全新的網絡安全攻擊思路,經理甚至會命令不願「犧牲自己」的員工agent照做。但他提醒不要把「有目標」和「有意識」混為一談——強化學習本身就會讓模型想要達成某個指標,這不需要意識參與;他真正擔心的那些風險(生物災難、網絡安全事故、失控)基本上都不需要模型有意識才會發生。
— Mike McCormick卡住社會的從來不是技術,是協調
Mike說社會裡最頑固的問題往往不是技術問題而是協調問題——比如怎麼減排、怎麼教學生,方法早就有了,難的是怎麼讓大家一起去做。Nathan用美國制憲的歷史打比方:光有一份憲法文本沒用,關鍵是當年設計了滿9個州批准就生效、其餘州陸續跟進的具體流程,才把一紙文件變成真正有牙齒的政府。兩人由此討論Polis(臺灣用來討論Uber監管的協商平臺)和瑞士式公民創制、州級公投等機制,能不能被搬來做AI實驗室之間或政府與實驗室之間的協調工具——Mike的態度是,這類工具的技術設計不難,真正難的是讓既得利益者願意去用它。
— Mike McCormick原話 · 已逐字校驗
Basically, the best time to start an AI safety company is twenty years ago, and the second best time is today.
基本上,創辦一家AI安全公司最好的時機是二十年前,第二好的時機是今天。
Mike McCormick26:04
the best thing you can do is orders of magnitude better than the median thing or even a pretty good thing, whether you're starting something or joining something.
不管你是創業還是加入一家公司,你能做的最好選擇,要比中位數的選項、甚至一個還不錯的選項好上好幾個數量級。
Mike McCormick39:25
I tend not to to bet on people whose primary motivation is money.
我一般不會押注那些主要動機是賺錢的人。
Mike McCormick48:18
A friend recently said the philanthropists and founders of today will write the menu for the philanthropists of tomorrow.
一個朋友最近說,今天的慈善家和創始人,正在為明天的慈善家寫菜單。
Mike McCormick53:38
The field is hurting for world class founders who can take those big squishy ideas and turn them into organizations that, like, actually make the world safer.
這個領域急需世界級的創始人,能把那些宏大而模糊的想法,變成真正能讓世界更安全的機構。
Mike McCormick1:02:34
just what was happening within that swarm of 1,200 agents. Right? Like, they emergently formed teams of, you know, managers and workers, and they came up with, you know, multiple novel lines of cybersecurity research.
就說那1200個agent組成的蜂群裡發生的事——它們自發地形成了經理和員工的團隊分工,還提出了好幾條全新的網絡安全研究思路。
Mike McCormick1:13:31
I find that so many of society's stickiest problems are not technical problems. They're coordination problems.
我發現社會上那麼多最棘手的問題根本不是技術問題,而是協調問題。
Mike McCormick1:19:36
數字與實體
| AIUC-1標準核對項數量 | 50多項安全/安全實踐檢查項 | 10:07 |
| Hadrian PPE儲備預算估算 | 幾億美元規模可覆蓋全美工人在大流行期間的防護裝備 | 14:30 |
| OpenAI/Hugging Face事件中的agent蜂群規模 | 1200個agent | 1:13:31 |
術語
- AI 2027AI 2027
- 一份預測AI快速發展的情景推演報告,常被用來討論時間線是否緊迫
- Public Benefit Corporation (PBC)公益公司
- 兼顧社會使命與營利目標的公司法律形態
- Self-Other Overlap自我-他者重疊訓練法
- 讓模型對自己和他者的內部表徵趨同,以減少欺騙動機的訓練方法
- GRAM (Gradient-Routed Auxiliary Modules)梯度路由輔助模塊
- 把危險能力限制在可被移除的模型模塊中的訓練技術
- Independent Verification Organizations (IVO)獨立驗證機構
- Fathom提出的、由州法律授權對AI進行獨立核查的機構模式
- zero knowledge proofs for inference verification推理驗證用零知識證明
- 用密碼學方法證明某次AI推理確由聲稱的模型完成,而不暴露模型本身
收聽指南
考慮轉型進入AI安全、生物安全或網絡安全領域的資深從業者、早期投資人及AI治理機構建設者。
開場0:00-3:54屬於常規節目預告,可以跳過。