新榜單讓8個閉源模型都贏了最強開源模型，但這更像一次選擇
AAv5把評測權重押向模型正奔赴的前沿任務而非當下經濟真正倚重的工作流，這個選擇本身就決定了誰看起來更領先。
原視頻在 YouTube 上放不出來，用音頻聽：
核心論點 · 時間戳為按文稿位置估算
獨立評測不是技術活，是權力活
作者說，把分數做上去是容易且昂貴的事，但知道該把分數做到哪個方向上才是難點。現在的獨立評測機構不只是在給模型「打分」這件技術活，而是要把當下雜亂的智能產出壓成一個單一數字，這個數字還要同時匹配社區的直覺、科學分析，又不能三個月後就過時。更關鍵的是，AI行業已經砸進去數萬億規模的資金，這個單一數字實際上在替市場判定誰贏誰輸，還反過來影響實驗室訓練模型的方向——這個壓力遠超表面上的「打分」二字。
四等分權重裡藏著編輯選擇
AAv5把智能指數拆成知識工作、編程、科學、通用四大類，各佔25%權重，子項包括AA-Briefcase、FrontierCode 2.0、Terminal-Bench-Science、CritPt v2、AA-Omniscience、HLE-Diamond等。作者認為問題在於，「真實世界使用」這件事本身極度參差不齊——編程上開源模型已經足夠有競爭力，但在知識工作等場景裡，他對開源模型的信心明顯更低。這套權重看起來是在描述現狀，實際上也是編輯部對「未來該往哪走」的一次押注。
8個閉源模型集體壓過最強開源
新榜單顯示，有8個閉源模型的分數全部超過了目前最好的開源權重模型Kimi K3.1 Pro。作者提醒這背後是一個選擇：AAv5是在衡量前沿模型正在衝向的方向，這自然會拉大和開源模型的差距；但他同時認為「開源模型要完了」的說法被嚴重誇大，真正的問題是上一版指數此前把開源模型捧得太高。換句話說，這次反而是指數在往回修正，不是開源模型突然變弱了。
落後科學類，不是開源的賣點
開源模型在Terminal-Bench-Science、CritPt v2這類「科學」評測上明顯落後，但作者指出開源模型的價值主張從來不是在前沿科學能力上對線。開源經濟真正要做的兩件事是：把需求旺盛的領域拉成硬件級的商品定價，以及讓企業能擁有、定製、並用內部數據控制自己的智能體。這兩件事都需要很長時間才能兌現，現在算力供給還很緊張，開源模型供應商利潤依然不錯——等這部分利潤被壓縮，才說明這套經濟真正跑起來了。
好模型也刷榜，只是刷得剋制
作者總結了自己長期觀察到的規律：最強的開源模型也會針對評測調優(benchmax),只是調得比較剋制；最差的開源模型刷榜刷得很兇，只是沒人關注。更深層的原因是，模型要在多個領域同時追上前沿，需要一套分布貼近評測本身的強化學習環境，不是所有開源實驗室都具備這種能力，有些還得靠採購數據，交付週期也跟不上。他預計下一輪大模型週期，比如兩三個月後的GLM 6或Kimi 3.5,開源陣營會在這個指數上有明顯進步。
藏起題目防刷榜，也少了糾錯
AA這次把部分測試轉向「私有基準」——不公開題目和測試環境，目的是防止開源實驗室針對性刷榜。作者認為方向可以理解，但代價是你必須完全信任基準製作者本人，社區再也沒法幫忙挑出基準本身的問題、推動它變得更好，而這種社區糾錯過去經常發生。考慮到這裡面牽涉的錢已經這麼多，他更傾向於要透明、要讓更多雙眼睛能去找基準裡的bug,而不是關起門來做裁判。
頭部實驗室早就不靠這些榜單活
作者點出一個對閉源大廠有利的事實：Anthropic和OpenAI早在幾個月甚至幾年前就不再把這些智能指數當回事，他們的重心幾乎全押在支持內部用途——比如用AI自動化研發本身——以及服務那些一擲千金的大客戶身上。團隊裡仍有人在為打開新市場而刷能力，但這隻佔很小一部分，並非被公開榜單驅動。相反，對中小實驗室來說，在這些指數上顯得靠譜是生存問題，因為它們的品牌幾乎完全建立在「追上前沿」這件事上。
靠誰付錢，打幾分信任
作者公開給出自己的信任排序：Artificial Analysis的商業模式是向各大實驗室收錢來驗證結果，Arena也靠給實驗室做發布前測試維持運轉，這些都不是問題本身，但意味著它們不是生態裡最值得信任的一環。他認為最公正的仍是非營利組織、學術界和政府機構，比如CAISI;但要論對前沿評測最準，今天能打的也就是Artificial Analysis、Arena這類創業公司。最後他把自己的工作定義成「給基準測試者做基準測試」,並承認這件事更偏社會學，而非科學。
原話 · 已逐字校驗
Hill-climbing is easy, knowing what to hill-climb is hard.
把分數做上去很容易，知道該把分數做到哪個方向上才難。
With the amount of money in the AI ecosystem today, the weight of independent evaluation is even higher – you dictate the winners and losers of a trillion dollar market.
考慮到今天AI生態裡牽涉的資金規模，獨立評測的分量更重了——你在替一個萬億美元級別的市場裁定誰贏誰輸。
This plot shows 8 closed models beating the best to-be open-weight model, Kimi K3.1 Pro (which isn’t colored blue).
這張圖顯示有8個閉源模型的分數超過了目前最好的、即將推出的開源權重模型Kimi K3.1 Pro(圖裡它沒有被標成藍色)。
Open models’ demise from this seems greatly exaggerated, but I do think the previous index was flattering the open weight models too strongly.
開源模型「要完了」的說法看起來被嚴重誇大了，但我確實認為上一版指數把開源權重模型捧得太高了。
The best open models do benchmax a little. The worst open models benchmax a lot (but don’t get a ton of attention anyways).
最好的開源模型也會稍微刷一下榜；最差的開源模型刷榜刷得很兇(不過反正也沒多少人關注它們)。
Their focus is to a large majority on supporting internal uses – like AI R&D automation – and the use-cases of customers who are spending billions of dollars.
他們的重心絕大部分都放在支持內部用途上——比如用AI做研發自動化——以及服務那些一擲千金的客戶的使用場景。
There is enough money on the line, where I’d rather see transparency in benchmarking and enabling many eyes to find bugs.
這裡面牽涉的錢已經夠多了，我更希望看到評測本身是透明的，讓更多雙眼睛去找出其中的bug。
The entities I trust the most to be fair on evaluations are non-profits, academics, and government institutions like CAISI.
我最信任的、能在評測上保持公正的，是非營利組織、學術界，以及像CAISI這樣的政府機構。
數字與實體
| 擊敗最強開源模型Kimi K3.1 Pro的閉源模型數量 | 8個 | 1:57 |
| AAv5四大類評測權重 | 知識工作/編程/科學/通用各佔25% | 1:57 |
| AA-Briefcase在知識工作類中的權重 | 15% | 1:57 |
術語
- benchmax刷榜式調優
- 針對評測分布專門優化訓練數據以拉高分數，而非提升真實泛化能力。
- private benchmarks非公開基準測試
- 測試題目和環境不公開，防止被針對性刷榜，但也少了社區糾錯。
- Intelligence Index智能指數
- 把多項評測加權合成單一分數，用來給模型綜合排名的榜單。
收聽指南
靠跑分做模型選型或融資敘事的創業者、投資人，以及關注開源模型商業化路徑的工程師。