世界太吵,來原聲聽播客

STEM-Talk

AI 公司不該拿 230 條免責,幻覺也不是等著修的 bug

Ken 認為生成式 AI 合成新內容、源頭在模型本身,所以更像發布者而非中立平臺;而幻覺更接近神經心理學裡的 confabulation,是內建於工作方式的風險。

AI 監管數據中心幻覺模型能力蒸餾
這是一集聽眾提問驅動的 AMA,前半段法律與數據中心、後半段術語與模型能力,密度不均,但幾處判斷很硬。

核心論點 · 點時間戳可跳到原聲

3:06

AI 公司不該拿 230 條免責

Ken 對「AI 公司是否應受美國《通信規範法》230 條保護」的回答是明確的 no。他的理由是 230 條 1996 年立法的前提是一個簡單區分:用戶創造內容,平臺只是託管。而生成式 AI 不是檢索或展示別人造的東西,它合成新內容,有時產出訓練數據里根本不存在的話,還會把編造的東西自信地當事實講出來。用戶發的誹謗帖源頭在用戶;AI 生成的誹謗內容沒有人類寫過,源頭就在模型本身。這時 AI 公司看起來就不再是中立中介,而更像內容的發布者。

— Ken Ford
7:11

幻覺不是等著被修的 bug

Ken 強調 hallucination 更準確的說法是 confabulation(虛構),它不是等待打補丁的軟件缺陷,而來自今天自迴歸大語言模型的概率本質——生成的是「看起來合理」的文本,而不是檢索已驗證的事實。檢索、推理、驗證技術能大幅減少但沒能消除它,而且有充分理由認為這個問題對當前這一代模型和底層計算機科學而言是內生的。如果 230 條或類似保護被收窄,AI 公司可能要為虛假、誹謗或有害輸出承擔更多責任,這會形成強大動力去開發能更可靠錨定事實的架構,甚至走向根本不同的 AI 路線。

— Ken Ford
8:11

AI 法人格已經被判過死刑

Ken 認為 AI 獲得法律人格的想法站不住腳:公司之所以是「法人」,不是因為它們智能或自主,而是因為它們是真實人類的結構化代理——持股的股東、代表實體行事的員工、可被扣押償債的資本資產,AI 一樣都沒有。這不是他的個人意見,而是已被測試並否決:DABUS 系統作為專利發明人被提報多年,美國 2022、英國 2023、德國 2024、日本今年 3 月全部說不,只有自然人可以當法律發明人;2017 年歐盟提出的「電子人格」構想幾乎立刻夭折,150 多名 AI 研究者、機器人專家和法律學者聯署公開信把它拆掉。

— Ken Ford
11:15

數據中心恐慌被低估,不是被誇大

針對《大西洋月刊》6 月 12 日那篇說數據中心恐慌被誇大、批評者在抬高成本的文章,Ken 的判斷是它更像為「現代史上最大規模的公共資源向私企轉移」做合理化,而不是平衡分析。他指出文章低估了基礎設施規模:現在和規劃中的 AI 設施不是以兆瓦計,而是以吉瓦計,一個滿負荷的吉瓦級數據中心年耗電相當於一個小州甚至一個大都市區,單體超大規模設施每天冷卻可能要用數百萬加侖水。噪音、廢熱、熱島效應這些影響也很少被擴張倡導者提及。

— Ken Ford
14:20

社區連條款都不許知道

Ken 指出大量決策在閉門進行:Google、Amazon、Meta、Microsoft 等超大規模廠商和數據中心開發商經常先與地方官員籤保密協議,之後社區才知道項目要多少水、多少電、需要什麼基礎設施升級、涉及什麼公共補貼。在數據中心最集中的弗吉尼亞,一項審查發現 31 個已有、已批或擬建數據中心的地方中有 25 個簽了這類協議。阿拉巴馬州 Bessemer 的一份保密協議甚至要求市政官員在協議到期或開發商提出要求時銷燬機密項目記錄。Microsoft 後來承諾停止與地方政府籤保密協議,Ken 認為這本身就是承認保密已成了大問題。

— Ken Ford
42:38

公司誇大危險,反噬自己

當技術的開發者同時是「它有多強、多危險」這一說法的首要來源時,會有一個微妙的傾向:誇大當前系統的能力,因為這會強化「這家公司取得了非凡技術領導地位」的印象。結果是公共討論同時被扭曲兩次——風險被誇大,技術顯得比證據支持的更革命。而且這套策略會自我拆臺:你越成功地說服公眾和政策制定者相信自己的產品極其危險,要求監管這些產品的政治理由就越強。Ken 強調這不是說公司故意編造不存在的風險,也不是說 AI 公司反對一切監管——Anthropic 就常常主張更強的 AI 監督。

— Ken Ford
43:38

把模型說成國安技術,就別怪被國安對待

這不是假設。今年夏天早些時候,美國政府發出出口管制指令,要求 Anthropic 暫停外國國民訪問其 Fable 5 和 Mythos 5 模型,在補充了額外保障措施後才恢復訪問。Ken 的結論是:一旦公司公開把自己的模型框定為異常強大和危險,就不該驚訝於政府開始把這些模型當作國家安全相關技術處理。他主張行業採用更剋制的溝通方式——不需要烏托邦承諾,也不需要末日預言,需要的是基於證據的能力與風險評估;如果系統真有前所未有的危險能力,支撐證據應當公開供獨立評估。

— Ken Ford
45:39

hallucination 這個詞在替模型開脫

Ken 反對用 hallucination 描述大模型的錯誤,理由是這個詞會激活一整套思維框架。聽到「一個人產生了幻覺」,我們自然想像一個本來勝任的心智短暫地感知到了不存在的東西,暗示這是可靠認知系統的異常故障。但今天的大模型不是這樣工作的:它給出錯誤答案時並沒有發生暫時的認知崩潰,多數情況下根本不是故障,而是在做它被設計來做的事——根據訓練中學到的模式、提示和上下文生成一個看似合理的文本延續。錯誤不是模型工作方式的例外,而是內建於工作方式之中的風險。

— Ken Ford
48:42

fabrication 也不對,最後選了 confabulation

Ken 一度偏好用 fabrication 替代 hallucination,因為 fabrication 是「被構造出來的東西」,更接近語言模型所做的事。但越想越不喜歡:fabrication 通常指某人為了欺騙而故意編造,而模型出錯時沒有意圖、沒有「輸出是假的」這種意識、也沒有試圖誤導任何人。他最終選定的詞是 confabulation,借自神經心理學:一個人自信地給出關於從未發生過之事的詳細、連貫、完全可信的敘述,既沒有意識到它是假的,也沒有欺騙任何人的意圖。健康人重構記憶、無意識用合理細節填補空白時也會 confabulate。

— Ken Ford
1:07:05

ChatGPT 沒有給自己編程

針對「ChatGPT-5 由早期 ChatGPT 編程」的說法,Ken 指出這是誤導性的混淆:OpenAI 宣布的是 ChatGPT-5.3 Codex,一個專門的編碼與軟件工程模型,不是大眾交互的那個聊天機器人;所謂「對創造自身起了作用」,指的是 OpenAI 工程師用早期版本幫助調試訓練、監控訓練運行、診斷評估、優化 harness 的部分環節和支持部署。這是 AI 輔助工程,不是 AI 自主決定構建自己的繼任者。他同時指出,從 OpenAI 的措辭到科技博客的「自己構建自己的模型」「遞歸自我改進」,這些短語根本沒出現在 OpenAI 的公告裡,是經過多輪二次報道被逐層放大的。

— Ken Ford
1:12:11

蒸餾是合法技術,但別拿我的輸出訓對手

前沿 AI 公司自己就經常把模型蒸餾成更小更便宜的版本,但當競爭對手用它們的輸出來訓練對手模型時,態度就冷淡得多。Anthropic 一方面稱蒸餾在正當使用時是合法技術,另一方面點名指控具體公司濫用:2026 年 2 月稱 DeepSeek、Moonshot 和 MiniMax 通過約 24,000 個欺詐賬號與 Claude 產生了超過 1,600 萬次交互;2026 年 6 月致兩位美國參議員的信中,又指控阿里巴巴通過約 25,000 個假賬號進行了超過 2,880 萬次交互,專門提取 Claude 的 agentic reasoning、軟件工程和長期任務完成能力。Anthropic 幫助中心也明確禁止用 Claude 輸出訓練競爭性通用模型。

— Ken Ford
1:23:24

50 米洗車題:模型答的是措辭,不是任務

2026 年 2 月一位 Mastodon 用戶向四個前沿語言模型提問:我想洗車,洗車店在 50 米外,我該走路還是開車?四個都建議走路——但正確答案顯然是開車,因為車必須物理上出現在洗車店。AI 基礎設施公司 Opper 隨後用 53 個領先模型系統測試:第一輪只有 11 個答對,42 個建議走路;重複測試中只有 5 個每次都答對。Ken 的分析是:提示裡有一個高度顯著的語料線索——50 米是很短的步行距離,在訓練文本中「短距離 + 走路還是開車」強烈統計關聯於「走路」,但這個關聯在這裡無關,因為出行的目的不是運送人,而是運送車。

— Ken Ford
1:26:27

50米外的洗車題暴露的不是常識缺失

卡內基梅隆大學在 Opera 測試後幾週發布的預印本給出了更嚴格的版本:短距離線索對模型答案的影響,比「要洗車」這個明確目標高出約 9 到 38 倍;token 層面的模式更符合關鍵詞聯想,而不是組合式推理。把車這個對象在提示裡寫得更明確後,模型表現大幅改善——說明相關模式系統裡其實有,只是不足以壓過「50 米」這個線索。Ken 強調這不是「AI 沒有常識」的老生常談,而是這種缺失在實踐中的樣子:答案可以流暢、局部合理,卻在任務層面就是錯的。

— Ken Ford
1:28:27

流暢的自信和任務理解不是同一種能力

人類會自動把跑腿這件事表徵成物理約束——車必須在洗車店。模型輸出的卻是提示和訓練數據裡最強的語言聯想。Ken 由此劃出一條界線:大語言模型極擅長生成「一個 thoughtful person 會說的話」,但遠不可靠於檢查眼前這個具體目標是否施加了通用回答會漏掉的約束。這個失敗模式在更要命的場景裡已經出現過:拼出一串單看都合理的步驟,卻漏掉原始請求裡埋著的一個要求。而且這個缺口不會自己宣告自己的存在。

— Ken Ford
1:30:31

他不籤那份 200 人聲明,因為太模糊

錄製於 7 月 17 日,5 天前近 200 名研究者與經濟學家(含 16 位諾獎得主)簽署聲明,警告 AI 可能取代大量人類工作、導致普遍失業。Ken 說他大概不會籤——不是因為 AI 不重要,而是聲明太模糊、幫不上忙。三條主張(AI 可能變得極強、可能帶來比工業革命更大但更快的經濟轉型、政策制定者現在就該行動)都只是「可能」,沒有附帶分析、沒有概率、沒有具體機制、沒有明確的政策提案。他的原話判斷是:這更像一個標題,而不是一個論證。

— Ken Ford
1:33:33

聲明漏掉了算力與電力的物理約束

Ken 指出聲明裡的「激勵、護欄、制度」沒有具體所指:是教育改革、再培訓、稅收政策、勞動力市場調整、反壟斷、AI 安全標準還是責任規則?誰來做、做什麼?他認為一份嚴肅的 AI 聲明應該談當前 scaling 範式帶來的資源需求——近期進步大多不是來自理解或推理上的優雅突破,而是蠻力擴展:更大的模型、更多數據、更多 GPU、越來越龐大的數據中心。電力需求、用水、電網容量、選址、算力集中已經在成為實際約束。他更願意看到把重點放在更高效的學習、更好的推理架構、符號與統計的混合方法、因果建模、更小的專用模型、更好的記憶與檢索上。

— Ken Ford
1:35:35

我們更擅長預測哪些工作消失

聲明強調大規模失業,卻沒解釋為什麼這個結果該被視為可能而非必然。歷史既有很多技術讓工人失業的例子,也有很多技術創造出事先無法想像的新產業、新職業、新工作形式的例子——工業革命、電氣化、計算機、互聯網都消滅了工作,也創造了多得多的新工作。Ken 引出的經濟學史教訓是:我們預測哪些工作會消失,通常比預測哪些新工作會出現要準得多。看著一個現有職業想像 AI 如何自動化它很容易,想像技術被廣泛部署後會長出什麼新職業、新服務、新制度、新產業則難得多。

— Ken Ford

原話 · 已逐字校驗

That's a good question and my answer is generally no. They should not be.

這是個好問題,我的回答大體上是不。它們不應該受保護。

Ken Ford3:06

Hallucinations, which are as I mentioned earlier, are actually much closer to confabulations, are not simply software bugs waiting to be patched.

幻覺——正如我前面提到的,其實更接近虛構——並不只是等著被打補丁的軟件缺陷。

Ken Ford7:11

Changing the location of a data center does not change the underlying physics.

改變數據中心的位置,並不會改變底層的物理規律。

Ken Ford28:27

That is not an exception to how the model works. It's a risk built in to how the models work.

這不是模型工作方式的例外,而是內建於模型工作方式之中的風險。

It isn't lying and it isn't hallucinating in the human sense. It is constructing a plausible answer from incomplete or imperfectly grounded information. The same general process it uses when it happens to be right.

它不是在撒謊,也不是人類意義上的產生幻覺。它是在用不完整或根基不牢的信息構造一個看似合理的答案——和它碰巧答對時用的是同一個過程。

Yet, no one standing next to the computer gets wet.

然而,站在那臺計算機旁邊的人不會被淋溼。

The invention may be centralized, but adoption is likely to be decentralized.

發明可能是集中的,但採用很可能是去中心化的。

The significance is that advanced AI capability is becoming abundant, cheaper, more portable, and harder to contain.

真正的意義在於,先進 AI 能力正在變得充裕、更便宜、更可攜帶,也更難被遏制。

is more of a headline than an argument.

它更像一個標題,而不是一個論證。

Ken Ford1:31:32

But, the core uncertainty here is not primarily economic. It is really deeply technical.

但這裡的核心不確定性主要不是經濟性的,它其實是深度的技術問題。

Ken Ford1:32:32

數字與實體

弗吉尼亞籤保密協議的地方數31 箇中有 25 個14:20
DABUS 案被否定的司法轄區美國 2022、英國 2023、德國 2024、日本今年 3 月8:11
反對歐盟電子人格構想的聯署人數150 多名 AI 研究者、機器人專家和法律學者8:11
《大西洋月刊》文章發表日6 月 12 日11:15
Opper 測試的模型數53 個領先模型1:23:24
首輪答對的模型數11 個(42 個建議走路)1:23:24
重複測試中每次都答對的模型數5 個1:23:24
Anthropic 指控阿里巴巴的交互量超過 2,880 萬次,約 25,000 個假賬號1:12:11
短距離線索對模型答案的影響倍數(相對洗車目標)約 9 到 38 倍1:26:27
簽署 AI 失業風險聲明的研究者與經濟學家人數近 200 人,含 16 位諾獎得主1:29:28

術語

confabulation虛構
神經心理學概念:自信地敘述從未發生之事,無欺騙意圖,也不自知為假。
Section 230《通信規範法》230 條
1996 年美國立法,讓平臺不必為用戶發布的內容承擔發布者責任。
DABUSDABUS
被提報為專利發明人的 AI 系統,多國法院裁定只有自然人可當發明人。
distillation蒸餾
用大模型的輸出訓練更小更便宜的模型,前沿公司自己也常用。
agentic reasoning智能體推理
模型自主規劃、調用工具、多步完成任務的推理能力。

收聽指南

誰該聽

關注 AI 監管、數據中心選址與模型能力邊界的創業者、投資人和工程師,尤其適合想弄清「幻覺到底能不能修」的人。

可跳過

1:00 前後關於 ChatGPT 自我編程的澄清較基礎,可快進。