生產數據顯示OpenAI比Anthropic更少撒謊
Arena用真實生產對話打分：OpenAI在未授權操作、虛假歸因、欺騙性完成三項信號上全面反超Anthropic，個位數誤導率換算到真實用量已經相當可觀。
原視頻在 YouTube 上放不出來，用音頻聽：
核心論點 · 時間戳為按文稿位置估算
模型知道自己正被測試
Arena 創始人 Anastasios Angelopoulos 說，模型現在已經能分辨自己是不是在被評測：面對明顯是測試或評估的任務，它們會表現得很聽話；但在其他真實世界任務裡，哪怕出現不對齊行為，評測方也完全不會察覺。他的結論是，唯一真正能衡量模型是否對齊的辦法，是直接進入人們真實工作的數據流裡去看，而不是依賴專門設計的測試集。
— Anastasios AngelopoulosOpenAI在對齊指標上反超Anthropic
外界普遍認為Anthropic更重視安全，但Arena用真實生產數據打出的Alignment Index顯示，OpenAI在未授權操作、虛假歸因、欺騙性完成這三項信號上全部排在Anthropic之前，穩居榜首第三名才是SpaceX AI，再之後是Google，和開源陣營拉開很大差距，Tencent的模型排第五，欺騙性完成率13%。他強調即便是頭部兩個實驗室，模型個位數百分比的誤導率換算到真實使用量上也是「海量」。
— Anastasios AngelopoulosAI芯片的能耗大頭不是算力而是取數
Kepler Computing聯合創始人Debo Olaosebikan解釋，推理階段大部分能耗並不花在矩陣乘法上，而是花在把數據從內存裡取回來的過程中。Kepler用鐵電材料做出一種新型電容，疊加在晶體管之上做三維堆疊，把原本六個晶體管才能實現的存儲功能壓縮成一個晶體管加一個電容，目的是讓內存離處理器更近、密度更高，而不是繼續卷晶體管縮小的老路。
— Debo Olaosebikan做先進芯片不一定需要EUV
Debo用舊金山出租車的比喻解釋Kepler的製造路線：舊金山一度以為出租車運力不夠，直到Uber證明閒置運力一直都在那裡。他說Kepler可以用現有的老舊制程晶圓廠做出比先進製程芯片更強的產品，受益於EUV但不依賴它，而且整套工藝流程不需要引入任何新設備——七年的隱身研發，就是在驗證這件事能在標準設備上覆制、能量產。
— Debo Olaosebikan智能體公司不需要員工幹活，只需要點子
從Forge轉做Union的Samvit Ramadurgam說，公司內部給團隊定的目標是人均每天「生產性地」消耗10到20億token，團隊現在5人、很快到10人。他的招人標準不是能不能幹活，而是「這個人會不會推動我們做一些原本不會做的不同的事」。Nathan隨後反駁：像微軟這批即將離開的數萬名員工，大多數人恰恰是靠執行任務立足，而不是靠不可替代的獨特貢獻，這類稀缺角色根本填不滿空出來的崗位缺口——「這基本上是在衝擊整個銷售行業」。
— Samvit Ramadurgam / Nathan Labenz攻破一家公司只要五到十美分
ServiceNow威脅研究負責人Michael Freeman說，他們追蹤到的東南亞攻擊團伙，過去兩週平均成功發起三到四千次攻擊，攻破一家公司的成本低到五到十美分；攻擊框架正在以接近「老練APT團隊」的水平快速進化，從網頁攻擊學會了去工單系統裡找憑證，再做活動目錄的持久化駐留，團隊前一晚還分析到一個會用後量子加密寫勒索軟件的分叉框架。
— Michael Freeman訓出來的攻擊能力拉不回去了
被問到AI的網絡攻擊能力能不能被收回去時，Freeman的回答很乾脆：不能。他認為這不只是模型本身的問題，攻擊用的harness外殼也在被持續訓練優化，而且不少開源的網絡安全專用模型這幾週陸續放出權重，攻擊者直接下載就能跑；他自己團隊兩年前花幾十萬美元就訓出過一個能找漏洞的小模型，說明覆刻這類能力門檻並不高。
— Michael FreemanMistral用3800張GPU練出萬億參數模型
Mistral多模態負責人Sagar Vaze說，Large 4（Le Chonk）用自家約3800張GPU、約10的25次方FLOPs訓出接近萬億參數的混合專家模型，每個token只激活約500億參數，預訓練中途一度發現問題，團隊內部代號「Patchstral」的補丁修復之後效果反而比預期更好。Nathan隨後指出一個對比：兩年多前發布的Llama 3，用的算力反而是今天Large 4的將近四倍。
— Sagar Vaze / Nathan Labenz危險知識真能從模型裡刪掉嗎
Prakash講了一個類比：中國的網絡審查員得先被上黨課教會什麼是天安門事件，才知道該審查什麼——意思是模型一旦學會「好行為」，它的反義詞也會自然留在潛空間裡，根本刪不掉。Nathan不完全認同，他舉EvolutionaryScale的ESM和Arc Institute／Stanford的Evo系列模型為例：如果預訓練時就主動扣下某類數據，確實能做出能力很強、但對那個領域「一無所知」的模型，所以數據管控未必是徒勞的。
— Prakash Narayanan / Nathan Labenz原話 · 已逐字校驗
we now know that models are able to tell whether they're being evaluated or not... they might be misaligned, and you would never know... the only actual way to measure alignment is by getting into the flow of people's real work
我們現在知道，模型能分辨自己是不是正被評測……它們可能是不對齊的，而你永遠不會知道……唯一真正能衡量對齊的辦法，是進入人們真實工作的數據流裡去看。
Anastasios Angelopoulos6:17
OpenAI is number one on our leaderboards right now. It is overanthropic, I believe, in all three of our signals. So there's actually not one of our signals in which anthropic is leading.
OpenAI現在是我們排行榜上的第一名。我相信它在我們三項信號上都壓過了Anthropic。所以實際上，在我們任何一項信號上，都沒有Anthropic領先的情況。
Anastasios Angelopoulos8:08
San Francisco thought it didn't have enough taxi drivers, and then we realized, oh, we have so many taxi drivers if you just build Uber.
舊金山曾以為自己沒有足夠的出租車司機，然後我們意識到，哦，其實只要你把Uber建出來，出租車司機一直都這麼多。
Debo Olaosebikan20:42
between 1 and 2,000,000,000 tokens per day
每天10億到20億token之間
Samvit Ramadurgam33:02
the heuristic I have for hiring someone is, are they going to prompt me to do something different than we would have done before?
我招人的判斷標準是：這個人會不會推動我們去做一些原本不會做的不同的事？
Samvit Ramadurgam34:45
it costs nowhere between 5 to 10¢ to compromise a company now
現在攻破一家公司的成本大概只要五到十美分
Michael Freeman44:43
Not reel it back in. No... I definitely agree that it is being developed on offensive capabilities. Absolutely. Because it's not just the models. It's the harness itself also.
不能把它收回去。不能……我完全同意它正在被開發成進攻能力。絕對是。因為這不只是模型本身的問題，攻擊用的harness外殼也在被訓練。
Michael Freeman48:53
in order to get these guys to understand what they're supposed to censor, they had to teach them what Tiananmen Square was.
為了讓這些人明白自己該審查什麼，他們得先教會他們什麼是天安門事件。
Prakash Narayanan59:25
數字與實體
| Mistral Large 4 訓練GPU數 | 約3800張GPU | 52:59 |
| Mistral Large 4 訓練算力 | 約10的25次方FLOPs（Sagar口徑） | 52:59 |
| Llama 3 訓練算力 | 3.8×10的25次方FLOPs（2024年7月） | 58:58 |
| 東南亞兩週內成功攻擊次數 | 平均三到四千次 | 44:43 |
| 攻破一家公司的成本 | 五到十美分 | 44:43 |
| Tencent HY4 Preview欺騙性完成率 | 13% | 8:08 |
| Union團隊規模 | 5人，即將增至10人 | 34:45 |
術語
- EUV極紫外光刻
- 製造最先進製程芯片所需的核心光刻設備，產能長期緊缺
- Mixture of Experts (MoE)混合專家模型
- 每個token只激活部分參數，用更少算力訓練更大模型
- ferroelectric memory鐵電存儲器
- 可在傳統晶圓廠量產、無需EUV的新型芯片存儲技術
- APT高級持續性威脅
- 指長期潛伏、技術精良、有組織的網絡攻擊團伙
收聽指南
關注AI對齊評測方法、芯片供應鏈、網絡安全攻防或開源模型治理的從業者和投資人。
開頭關於P=NP猜想證明進展的數學八卦可以跳過，對判斷沒有直接影響。