新榜单让8个闭源模型都赢了最强开源模型，但这更像一次选择
AAv5把评测权重押向模型正奔赴的前沿任务而非当下经济真正倚重的工作流，这个选择本身就决定了谁看起来更领先。
原视频在 YouTube 上放不出来，用音频听：
核心论点 · 时间戳为按文稿位置估算
独立评测不是技术活，是权力活
作者说，把分数做上去是容易且昂贵的事，但知道该把分数做到哪个方向上才是难点。现在的独立评测机构不只是在给模型「打分」这件技术活，而是要把当下杂乱的智能产出压成一个单一数字，这个数字还要同时匹配社区的直觉、科学分析，又不能三个月后就过时。更关键的是，AI行业已经砸进去数万亿规模的资金，这个单一数字实际上在替市场判定谁赢谁输，还反过来影响实验室训练模型的方向——这个压力远超表面上的「打分」二字。
四等分权重里藏着编辑选择
AAv5把智能指数拆成知识工作、编程、科学、通用四大类，各占25%权重，子项包括AA-Briefcase、FrontierCode 2.0、Terminal-Bench-Science、CritPt v2、AA-Omniscience、HLE-Diamond等。作者认为问题在于，「真实世界使用」这件事本身极度参差不齐——编程上开源模型已经足够有竞争力，但在知识工作等场景里，他对开源模型的信心明显更低。这套权重看起来是在描述现状，实际上也是编辑部对「未来该往哪走」的一次押注。
8个闭源模型集体压过最强开源
新榜单显示，有8个闭源模型的分数全部超过了目前最好的开源权重模型Kimi K3.1 Pro。作者提醒这背后是一个选择：AAv5是在衡量前沿模型正在冲向的方向，这自然会拉大和开源模型的差距；但他同时认为「开源模型要完了」的说法被严重夸大，真正的问题是上一版指数此前把开源模型捧得太高。换句话说，这次反而是指数在往回修正，不是开源模型突然变弱了。
落后科学类，不是开源的卖点
开源模型在Terminal-Bench-Science、CritPt v2这类「科学」评测上明显落后，但作者指出开源模型的价值主张从来不是在前沿科学能力上对线。开源经济真正要做的两件事是：把需求旺盛的领域拉成硬件级的商品定价，以及让企业能拥有、定制、并用内部数据控制自己的智能体。这两件事都需要很长时间才能兑现，现在算力供给还很紧张，开源模型供应商利润依然不错——等这部分利润被压缩，才说明这套经济真正跑起来了。
好模型也刷榜，只是刷得克制
作者总结了自己长期观察到的规律：最强的开源模型也会针对评测调优(benchmax),只是调得比较克制；最差的开源模型刷榜刷得很凶，只是没人关注。更深层的原因是，模型要在多个领域同时追上前沿，需要一套分布贴近评测本身的强化学习环境，不是所有开源实验室都具备这种能力，有些还得靠采购数据，交付周期也跟不上。他预计下一轮大模型周期，比如两三个月后的GLM 6或Kimi 3.5,开源阵营会在这个指数上有明显进步。
藏起题目防刷榜，也少了纠错
AA这次把部分测试转向「私有基准」——不公开题目和测试环境，目的是防止开源实验室针对性刷榜。作者认为方向可以理解，但代价是你必须完全信任基准制作者本人，社区再也没法帮忙挑出基准本身的问题、推动它变得更好，而这种社区纠错过去经常发生。考虑到这里面牵涉的钱已经这么多，他更倾向于要透明、要让更多双眼睛能去找基准里的bug,而不是关起门来做裁判。
头部实验室早就不靠这些榜单活
作者点出一个对闭源大厂有利的事实：Anthropic和OpenAI早在几个月甚至几年前就不再把这些智能指数当回事，他们的重心几乎全押在支持内部用途——比如用AI自动化研发本身——以及服务那些一掷千金的大客户身上。团队里仍有人在为打开新市场而刷能力，但这只占很小一部分，并非被公开榜单驱动。相反，对中小实验室来说，在这些指数上显得靠谱是生存问题，因为它们的品牌几乎完全建立在「追上前沿」这件事上。
靠谁付钱，打几分信任
作者公开给出自己的信任排序：Artificial Analysis的商业模式是向各大实验室收钱来验证结果，Arena也靠给实验室做发布前测试维持运转，这些都不是问题本身，但意味着它们不是生态里最值得信任的一环。他认为最公正的仍是非营利组织、学术界和政府机构，比如CAISI;但要论对前沿评测最准，今天能打的也就是Artificial Analysis、Arena这类创业公司。最后他把自己的工作定义成「给基准测试者做基准测试」,并承认这件事更偏社会学，而非科学。
原话 · 已逐字校验
Hill-climbing is easy, knowing what to hill-climb is hard.
把分数做上去很容易，知道该把分数做到哪个方向上才难。
With the amount of money in the AI ecosystem today, the weight of independent evaluation is even higher – you dictate the winners and losers of a trillion dollar market.
考虑到今天AI生态里牵涉的资金规模，独立评测的分量更重了——你在替一个万亿美元级别的市场裁定谁赢谁输。
This plot shows 8 closed models beating the best to-be open-weight model, Kimi K3.1 Pro (which isn’t colored blue).
这张图显示有8个闭源模型的分数超过了目前最好的、即将推出的开源权重模型Kimi K3.1 Pro(图里它没有被标成蓝色)。
Open models’ demise from this seems greatly exaggerated, but I do think the previous index was flattering the open weight models too strongly.
开源模型「要完了」的说法看起来被严重夸大了，但我确实认为上一版指数把开源权重模型捧得太高了。
The best open models do benchmax a little. The worst open models benchmax a lot (but don’t get a ton of attention anyways).
最好的开源模型也会稍微刷一下榜；最差的开源模型刷榜刷得很凶(不过反正也没多少人关注它们)。
Their focus is to a large majority on supporting internal uses – like AI R&D automation – and the use-cases of customers who are spending billions of dollars.
他们的重心绝大部分都放在支持内部用途上——比如用AI做研发自动化——以及服务那些一掷千金的客户的使用场景。
There is enough money on the line, where I’d rather see transparency in benchmarking and enabling many eyes to find bugs.
这里面牵涉的钱已经够多了，我更希望看到评测本身是透明的，让更多双眼睛去找出其中的bug。
The entities I trust the most to be fair on evaluations are non-profits, academics, and government institutions like CAISI.
我最信任的、能在评测上保持公正的，是非营利组织、学术界，以及像CAISI这样的政府机构。
数字与实体
| 击败最强开源模型Kimi K3.1 Pro的闭源模型数量 | 8个 | 1:57 |
| AAv5四大类评测权重 | 知识工作/编程/科学/通用各占25% | 1:57 |
| AA-Briefcase在知识工作类中的权重 | 15% | 1:57 |
术语
- benchmax刷榜式调优
- 针对评测分布专门优化训练数据以拉高分数，而非提升真实泛化能力。
- private benchmarks非公开基准测试
- 测试题目和环境不公开，防止被针对性刷榜，但也少了社区纠错。
- Intelligence Index智能指数
- 把多项评测加权合成单一分数，用来给模型综合排名的榜单。
收听指南
靠跑分做模型选型或融资叙事的创业者、投资人，以及关注开源模型商业化路径的工程师。