世界太吵,来原声听播客

老石谈芯

RTX Spark芯片没变,英伟达要的不是性能而是PC定义权

这颗芯片几乎就是去年发布的DGX Spark换了操作系统,老黄真正想要的不是跑分赢家,而是把CPU、GPU、内存、系统捆成一套只认英伟达规则的PC新架构。

英伟达CUDARTX Spark智能体PCWindows on ARM本地推理
本集前段多是战略背景梳理,信息密度最高的实测数据、并发测试和PAIR多机调度都在后半段,建议完整听完。

核心论点 · 点时间戳可跳到原声

0:00

同一颗芯片换系统就叫重新定义

黄仁勋说为了把ARM CPU、Blackwell GPU、NVLink互联和128G统一内存做成一颗芯片并跑起Windows,英伟达投入了超过4000人年。但这颗RTX Spark芯片和去年3月发布的DGX Spark用的芯片几乎一模一样,唯一的区别只是操作系统从Linux换成了Windows。芯片本身没有本质变化,却被包装成「重新定义个人电脑」,这个反差是整集要拆解的起点。

— 老石
2:02

CUDA护城河正从代码转向人

以前把CUDA算子移植到别的硬件要调好几个星期,现在AI先写初版再改,几天就够了,加上PyTorch、Triton把底层硬件藏得越来越深,很多人写模型已经不直接碰CUDA。代码迁移成本下降意味着英伟达原来靠代码锁住开发者的护城河变浅了,于是护城河真正要守的变成了「开发者每天用什么平台、习惯什么工具」——这也是RTX Spark要把CUDA和TensorRT整套能力搬上Windows笔记本的根本原因。

— 老石
5:03

AIPC叙事从跑大模型转向养智能体

过去几年AIPC讲的是本地模型能跑多大、算力多强,但花几万块买大内存电脑跑本地模型,对大多数人并不划算,这笔钱够用很多年云端API,本地模型还更慢更笨。随着智能体爆发,叙事重点变成让智能体在电脑上直接处理本地文件、开发环境和不愿意上传云端的隐私数据——这个理由比本地大模型的性价比硬伤充分得多,也是Windows on ARM这次真正等到的换道机会。

— 老石
9:07

MXC给智能体的权限上了锁

传统Windows按用户授权,你点一下它动一下,但智能体可能背后自己改文件、跑代码、开好几个软件,操作上百次,很容易顺手碰到私人文件。微软的办法是Microsoft Execution Containers(MXC),开发者提前规定智能体能碰哪些文件、访问哪些网站,操作系统运行时强制执行,隔离强度从受限进程到独立账户再到小型虚拟机分级可调。只有建立起这种边界,用户才敢让智能体长期在电脑上干活,本地的GPU和大内存才真正有用武之地。

— 老石
11:08

装得下不等于跑得好,Q4才是甜点

RTX Spark的128G内存能装下BF16精度的千问3-8-27B,但这台机器带宽只有300G/s,导致BF16解码只有11 token/s,而Q4量化能到28.5 token/s,快了两倍多,Prefill阶段两者反而差不多,因为那取决于GPU算力而非带宽。结论是稠密模型不要盲目追求大参数或高精度,Q4才是这台机器的甜点;而MOE混合专家模型因为每次只激活小部分参数,反而更能规避带宽短板,是这台机器上用起来最舒服的类型。

— 老石
13:09

比友商快一倍,比自家5090慢得多

在Agent Perf智能体基准测试里,跑千问3-8-27B Q4完成全部任务,RTX Spark用19分钟,而M5 Pro和AMD Halo都要35分钟以上,快了接近一倍,优势主要来自Prefill阶段——智能体读多写少,反复读代码和工具结果,而Prefill算力正是Blackwell和CUDA的强项。但同架构的DGX Spark只要17.3分钟,比RTX Spark快一成,差别在笔记本的功耗和散热;而RTX 5090只要4.9分钟,因为带宽接近1.8TB/s,是RTX Spark的6倍左右,说明只要模型能塞进32G显存且买得到5090,它依然是本地推理的天花板。

— 老石
17:14

养活几个智能体比装下多大模型更实际

测试1到6个智能体并发发现,同时跑3到5个智能体最合适,整体吞吐能提升2.2倍左右;但到4个智能体时GPU利用率只有82%,说明GPU在等数据,内存带宽已经成为瓶颈;到6个并发时,整批耗时反而比排队一个个跑还慢。这意味着对智能体电脑来说,能同时养活几个智能体,比能装下多大的模型更加实际,而答案很大程度上取决于内存带宽——这恰恰是RTX Spark被反复提到的短板。

— 老石
22:15

老黄真正想要的是PC下一代定义权

总结下来,英伟达做RTX Spark至少有三个目标:第一是拿到PC架构定义权,从只卖显卡的发动机供应商变成拉上微软、ARM、联发科和众多OEM厂商自己造整车;第二是把CUDA生态壁垒从数据中心延伸到笔记本,不管推理跑在云端还是本地,只要用CUDA生意就还是英伟达的;第三是抢占智能体AI时代的个人计算平台入口。同时也坦承RTX Spark性能和友商甚至自家产品相比都没有明显优势,内存带宽更是公认的短板,下一代大概率会在这上面补课。

— 老石

原话 · 已逐字校验

操作系统在运行的时候就强制的执行 就算AI被骗了想要越界 系统也不会放行

操作系统在运行时就强制执行权限边界,就算AI被骗了想要越界,系统也不会放行。

老石9:07

AI能够把你的能力放大十倍 前提是你先得有那个一 你知道要做什么 怎么做才能指对方向 判断对错 把省下来的那些时间 花在更有意义的事情上

AI能够把你的能力放大十倍,前提是你先得有那个「一」——你知道要做什么、怎么做才能指对方向、判断对错,把省下来的时间花在更有意义的事情上。

老石16:12

所以对于智能体电脑来说 能同时养活几个智能体 比能够装下多大的模型 更加的实际

所以对于智能体电脑来说,能同时养活几个智能体,比能装下多大的模型更加实际。

老石17:14

这次他想当整车厂 拉上微软 ARM 联发科 还有众多的OEM厂商 做一种不同于X86加独显的Windows PC架构

这次他想当整车厂,拉上微软、ARM、联发科还有众多OEM厂商,做一种不同于X86加独显的Windows PC架构。

老石22:15

现在故事反过来了 因为大家开始用GPU和AI能力反过来推动Windows来摆脱对X86几十年的依赖

现在故事反过来了,因为大家开始用GPU和AI能力,反过来推动Windows摆脱对X86几十年的依赖。

老石23:19

数字与实体

英伟达为RTX Spark投入的人力超过4000人年0:00
千问3-8-27B解码速度(BF16 vs Q4)BF16 11 token/s,Q4 28.5 token/s11:08
英伟达与微软测试优化的应用数量超过1200款10:08
Agent Perf千问3-8-27B Q4完成时间(RTX Spark vs M5 Pro/AMD Halo)19分钟 vs 35分钟以上13:09
多智能体并发最佳数量与提速3-5个智能体,吞吐提升约2.2倍17:14
PAIR混合调度6智能体耗时缩短68%19:15
10月13日DLSS5更新幅度速度提升2倍,模型规模下降24%,显存占用降低20%20:15

术语

PRISMPRISM转译层
微软在ARM版Windows上让x86软件免改动运行的实时指令翻译层。
MXC微软执行容器
给每个智能体单独设定权限边界并强制执行的隔离机制。
Windows on ARMARM版Windows
运行在ARM架构芯片而非传统x86芯片上的Windows系统。
PAIR个人AI路由
英伟达的工具,把智能体任务按能力分配到局域网内多台设备上执行。
Prefill/Decode预填充/解码
大模型推理的两个阶段,分别对应读入提示词和逐字生成输出。
MOE混合专家模型
总参数量大但每次推理只激活一小部分参数的模型结构。

收听指南

谁该听

关心英伟达生态布局的芯片/AI工程师,以及纠结要不要买本地智能体电脑的潜在买家。

可跳过

开头台北发布会背景介绍信息量较低,可直接跳到CUDA护城河分析部分。