世界太吵,來原聲聽播客

硅谷101

Vitalik銳評Anthropic:安全話術與自身權力相關性超九成

Vitalik捐出數億美元資助AI安全,如今卻說各家AI實驗室嘴上談安全,但他們實際做的事和擴張自身權力的相關性可能超過九成。

有效利他主義AI安全Anthropic加密貨幣捐贈理性主義d/acc
想知道AI安全話語背後誰在出錢、誰在受益,以及一位親歷捐贈者對自己過去選擇的反思,這集給了具體細節而非空泛立場。

核心論點 · 點時間戳可跳到原聲

0:01

Anthropic接班人名單秘而不宣

Anthropic招股書裡safety一詞出現248次,AI安全出現36次;七位聯合創始人將通過特殊股份掌握一般表決事項50.1%的投票權,長期利益信託有權選舉董事會多數成員。更關鍵的是,創始人可以提前指定在自己失去履職能力後由誰接替投票權,人選需內部批准,但名單保密——公眾不知道未來誰可能參與Anthropic的決策。

— Yiwen
9:07

EA四次轉向:從蚊帳到AI安全

Afra把EA十幾年歷史分成四個階段:用可量化證據改善全球健康的蚊帳時代;2015年前後轉向關注未來世代和存在性風險的長期主義時代,SBF等富豪的資金在此時大量湧入;FTX崩塌後的信任危機時代,同時ChatGPT帶來AI轉折;再到現在AI安全成為核心議程、讓普通大眾都聽說EA這個詞的AI安全時代。

— Afra
18:10

安全審計機構和Anthropic的利益綁定

給Anthropic做獨立安全審計的METR,其主要資助方Coefficient Giving的創始人Dustin Moskovitz同時是Anthropic的早期投資人,持有大量股票。Afra不認為這是陰謀,但指出真正的問題是:當一場思想運動有了鉅額資金,它不只在發現重要問題,也在決定什麼問題會被認為是重要的——這正是今天AI政策圈的現實,年輕研究員大量被高薪的AI safety職位吸納。

— Afra
28:15

去華爾街賺錢再捐出去的悖論

MacAskill在牛津的演講裡告訴學生,當醫生一生約能救140條命,但去華爾街或諮詢業賺錢、再明智地捐贈,因為能買更多蚊帳,拯救生命的數量可能是前者的十倍。Afra認為,這套邏輯後來成了一些量化交易者(包括SBF)為自己拼命賺錢尋找道德藉口的工具——只要聲稱要捐出去,瘋狂逐利就被包裝成了善行。

— Afra
59:37

一場玩笑幣意外捐出數億美元

Vitalik回憶柴犬幣團隊把一半代幣供應量直接打進他的公開錢包,他本以為市值很快會歸零,就把代幣分給幾個組織,設想對方最多能變現兩千多萬美元。三個月後代幣沒跌,幾家機構合計套現數億美元——印度CryptoRelief拿到約4.7億美元,FLI拿到4到6個億——遠超他自己的預期和控制。

— Vitalik
1:10:48

「被忽視」不再是捐AI安全的理由

Vitalik說自己判斷該不該捐一個領域,核心標準是neglectedness(被忽視程度)——這個問題重要,但現在關心的人是不是太少了。十年前AI安全、長壽研究都很冷門,值得投入;但現在AI安全已經有大量資金、職位和關注,問題不再是資源太少,而是大家做的方法可能不對,而這種問題沒有簡單的解法。

— Vitalik
1:34:08

安全話術和權力擴張相關性超九成

Vitalik說可以理解Anthropic的每一條論點——如果認同它的前提,就會同意它的結論——但觀察它實際做的事,和擴張自身權力的相關性「可能高於90%」。他的質疑是:一家公司憑什麼說「我們好,所以該我們贏,你們不該有權力」,卻又一邊批評開源AI危險,一邊自己仍在加速這場AI競賽。

— Vitalik
1:38:10

d/acc:用去中心化防禦取代集中管控

Vitalik提出d/acc:技術發展值得推進,但應優先投入能保護普通人的去中心化防禦技術,而不是把權力集中到少數模型或公司。他舉例說,一些EA組織把八成資源放在「讓AI模型自己拒絕幫人造病毒」上,這其實是中心化防禦,只要別國有自己的模型,這套限制就沒用,真正有效的是檢測、過濾和更快疫苗研發這類去中心化手段。

— Vitalik

原話 · 已逐字校驗

那就是創始人可以提前指定 在自己失去履職能力後 由誰接替自己的投票權 這些人選需要經過內部批准 但名單是保密的 也就是說公眾目前並不知道 未來誰是有可能參與 Anthropic決策的人

創始人可以提前指定在自己失去履職能力後由誰接替自己的投票權,這些人選需要經過內部批准,但名單是保密的,也就是說公眾目前並不知道未來誰可能參與Anthropic的決策。

Yiwen1:01

就是他不想讓AI變得不可控 同時造成讓人類無法承受的後果 這就是他們的議程 其實沒有什麼隱藏的議程

他們的議程就是不想讓AI變得不可控,同時造成人類無法承受的後果——這就是他們的議程,其實沒有什麼隱藏的議程。

Afra19:10

你未來的自己 永遠會背叛你現在的自己 因為你10年 20年之後 你的想法會變 你的行為會變 你身邊的朋友 你的圈子會變 你想做的事情會變

你未來的自己永遠會背叛你現在的自己,因為十年、二十年之後,你的想法會變、行為會變,你身邊的朋友和圈子會變,你想做的事情也會變。

Afra27:15

你每次付2000塊 你就可以救一個人的命 其實大部分的人 他們會花2000塊做什麼 有可能是一個公務艙的機票

按照他們的統計,你每次付兩千美元就能救一個人的命;而大部分人花兩千美元做的是買一張公務艙機票。

Vitalik41:22

其實我自己在2016年的時候 我花了25000美元買一些狗狗幣 我的錢都變成了 可能1000多萬

我自己在2016年花了25000美元買了一些狗狗幣,後來這筆錢變成了可能一千多萬美元。

Vitalik1:00:37

Man versus nature其實更簡單 Man versus man是特別複雜的 因為你在對抗的那個挑戰 是跟你一樣聰明的 所以你做的事情能有的效果 有可能是會非常複雜的

人對抗天然其實更簡單,人對抗人特別複雜,因為你對抗的挑戰和你一樣聰明,所以你所做的事能帶來的效果可能非常複雜。

Vitalik1:17:54

大概有三個點 第一個點是acceleration 就是技術的發展是重要的 第二個點就是defensive 我們現在需要花更多的能力 做一些可以保護我們的技術

大概有三個要點:第一是acceleration,技術發展很重要;第二是defensive,我們現在需要花更多力氣,做一些能保護我們的技術。

Vitalik1:38:10

數字與實體

Anthropic招股書中safety一詞出現次數248次(其中AI安全36次)0:01
Anthropic創始人掌握的投票權50.1%(一般表決事項)1:01
Coefficient Giving自2014年以來累計撥款超過70億美元37:21
Vitalik 2021年捐出加密貨幣的估計總值約15億美元38:21
Vitalik捐給FLI的代幣最終兌現金額約5億美元6:03
Vitalik給出的P(doom)(人類滅絕概率)0.155:31

術語

EA (Effective Altruism)有效利他主義
主張用證據和理性分析,把有限的錢和時間用在能帶來最大善的地方
e/acc有效加速主義
主張儘快推進AI等技術發展,反對因安全顧慮而減速
d/acc防禦性/去中心化加速主義
Vitalik提出,主張加速技術發展但優先投入能保護普通人的防禦性技術
Neglectedness被忽視程度
EA評估捐贈價值的標準之一:這個領域是否還缺少關注和資源
P(doom)人類滅絕概率
對AI或其他風險導致人類滅絕可能性的主觀估計
Orthogonality thesis正交性論題
AI的智力水平和它的目標是否符合人類利益,是兩個互不相關的維度

收聽指南

誰該聽

關注AI政策和慈善資金流向的創業者、投資人,以及想理解EA/理性主義社群如何塑造硅谷AI敘事的人。

可跳過

前半段Afra梳理EA歷史背景,若已熟悉MacAskill與Yudkowsky可直接跳到對話正文。