世界太吵,來原聲聽播客

老石談芯

RTX Spark芯片沒變,英偉達要的不是性能而是PC定義權

這顆芯片幾乎就是去年發布的DGX Spark換了操作系統,老黃真正想要的不是跑分贏家,而是把CPU、GPU、內存、系統捆成一套只認英偉達規則的PC新架構。

英偉達CUDARTX Spark智能體PCWindows on ARM本地推理
本集前段多是戰略背景梳理,信息密度最高的實測數據、併發測試和PAIR多機調度都在後半段,建議完整聽完。

核心論點 · 點時間戳可跳到原聲

0:00

同一顆芯片換系統就叫重新定義

黃仁勳說為了把ARM CPU、Blackwell GPU、NVLink互聯和128G統一內存做成一顆芯片並跑起Windows,英偉達投入了超過4000人年。但這顆RTX Spark芯片和去年3月發布的DGX Spark用的芯片幾乎一模一樣,唯一的區別只是操作系統從Linux換成了Windows。芯片本身沒有本質變化,卻被包裝成「重新定義個人電腦」,這個反差是整集要拆解的起點。

— 老石
2:02

CUDA護城河正從代碼轉向人

以前把CUDA算子移植到別的硬件要調好幾個星期,現在AI先寫初版再改,幾天就夠了,加上PyTorch、Triton把底層硬件藏得越來越深,很多人寫模型已經不直接碰CUDA。代碼遷移成本下降意味著英偉達原來靠代碼鎖住開發者的護城河變淺了,於是護城河真正要守的變成了「開發者每天用什麼平臺、習慣什麼工具」——這也是RTX Spark要把CUDA和TensorRT整套能力搬上Windows筆記本的根本原因。

— 老石
5:03

AIPC敘事從跑大模型轉向養智能體

過去幾年AIPC講的是本地模型能跑多大、算力多強,但花幾萬塊買大內存電腦跑本地模型,對大多數人並不划算,這筆錢夠用很多年雲端API,本地模型還更慢更笨。隨著智能體爆發,敘事重點變成讓智能體在電腦上直接處理本地文件、開發環境和不願意上傳雲端的隱私數據——這個理由比本地大模型的性價比硬傷充分得多,也是Windows on ARM這次真正等到的換道機會。

— 老石
9:07

MXC給智能體的權限上了鎖

傳統Windows按用戶授權,你點一下它動一下,但智能體可能背後自己改文件、跑代碼、開好幾個軟件,操作上百次,很容易順手碰到私人文件。微軟的辦法是Microsoft Execution Containers(MXC),開發者提前規定智能體能碰哪些文件、訪問哪些網站,操作系統運行時強制執行,隔離強度從受限進程到獨立賬戶再到小型虛擬機分級可調。只有建立起這種邊界,用戶才敢讓智能體長期在電腦上幹活,本地的GPU和大內存才真正有用武之地。

— 老石
11:08

裝得下不等於跑得好,Q4才是甜點

RTX Spark的128G內存能裝下BF16精度的千問3-8-27B,但這臺機器帶寬只有300G/s,導致BF16解碼只有11 token/s,而Q4量化能到28.5 token/s,快了兩倍多,Prefill階段兩者反而差不多,因為那取決於GPU算力而非帶寬。結論是稠密模型不要盲目追求大參數或高精度,Q4才是這臺機器的甜點;而MOE混合專家模型因為每次只激活小部分參數,反而更能規避帶寬短板,是這臺機器上用起來最舒服的類型。

— 老石
13:09

比友商快一倍,比自家5090慢得多

在Agent Perf智能體基準測試裡,跑千問3-8-27B Q4完成全部任務,RTX Spark用19分鐘,而M5 Pro和AMD Halo都要35分鐘以上,快了接近一倍,優勢主要來自Prefill階段——智能體讀多寫少,反覆讀代碼和工具結果,而Prefill算力正是Blackwell和CUDA的強項。但同架構的DGX Spark只要17.3分鐘,比RTX Spark快一成,差別在筆記本的功耗和散熱;而RTX 5090只要4.9分鐘,因為帶寬接近1.8TB/s,是RTX Spark的6倍左右,說明只要模型能塞進32G顯存且買得到5090,它依然是本地推理的天花板。

— 老石
17:14

養活幾個智能體比裝下多大模型更實際

測試1到6個智能體併發發現,同時跑3到5個智能體最合適,整體吞吐能提升2.2倍左右;但到4個智能體時GPU利用率只有82%,說明GPU在等數據,內存帶寬已經成為瓶頸;到6個併發時,整批耗時反而比排隊一個個跑還慢。這意味著對智能體電腦來說,能同時養活幾個智能體,比能裝下多大的模型更加實際,而答案很大程度上取決於內存帶寬——這恰恰是RTX Spark被反覆提到的短板。

— 老石
22:15

老黃真正想要的是PC下一代定義權

總結下來,英偉達做RTX Spark至少有三個目標:第一是拿到PC架構定義權,從只賣顯卡的發動機供應商變成拉上微軟、ARM、聯發科和眾多OEM廠商自己造整車;第二是把CUDA生態壁壘從數據中心延伸到筆記本,不管推理跑在雲端還是本地,只要用CUDA生意就還是英偉達的;第三是搶佔智能體AI時代的個人計算平臺入口。同時也坦承RTX Spark性能和友商甚至自家產品相比都沒有明顯優勢,內存帶寬更是公認的短板,下一代大概率會在這上面補課。

— 老石

原話 · 已逐字校驗

操作系統在運行的時候就強制的執行 就算AI被騙了想要越界 系統也不會放行

操作系統在運行時就強制執行權限邊界,就算AI被騙了想要越界,系統也不會放行。

老石9:07

AI能夠把你的能力放大十倍 前提是你先得有那個一 你知道要做什麼 怎麼做才能指對方向 判斷對錯 把省下來的那些時間 花在更有意義的事情上

AI能夠把你的能力放大十倍,前提是你先得有那個「一」——你知道要做什麼、怎麼做才能指對方向、判斷對錯,把省下來的時間花在更有意義的事情上。

老石16:12

所以對於智能體電腦來說 能同時養活幾個智能體 比能夠裝下多大的模型 更加的實際

所以對於智能體電腦來說,能同時養活幾個智能體,比能裝下多大的模型更加實際。

老石17:14

這次他想當整車廠 拉上微軟 ARM 聯發科 還有眾多的OEM廠商 做一種不同於X86加獨顯的Windows PC架構

這次他想當整車廠,拉上微軟、ARM、聯發科還有眾多OEM廠商,做一種不同於X86加獨顯的Windows PC架構。

老石22:15

現在故事反過來了 因為大家開始用GPU和AI能力反過來推動Windows來擺脫對X86幾十年的依賴

現在故事反過來了,因為大家開始用GPU和AI能力,反過來推動Windows擺脫對X86幾十年的依賴。

老石23:19

數字與實體

英偉達為RTX Spark投入的人力超過4000人年0:00
千問3-8-27B解碼速度(BF16 vs Q4)BF16 11 token/s,Q4 28.5 token/s11:08
英偉達與微軟測試優化的應用數量超過1200款10:08
Agent Perf千問3-8-27B Q4完成時間(RTX Spark vs M5 Pro/AMD Halo)19分鐘 vs 35分鐘以上13:09
多智能體併發最佳數量與提速3-5個智能體,吞吐提升約2.2倍17:14
PAIR混合調度6智能體耗時縮短68%19:15
10月13日DLSS5更新幅度速度提升2倍,模型規模下降24%,顯存佔用降低20%20:15

術語

PRISMPRISM轉譯層
微軟在ARM版Windows上讓x86軟件免改動運行的實時指令翻譯層。
MXC微軟執行容器
給每個智能體單獨設定權限邊界並強制執行的隔離機制。
Windows on ARMARM版Windows
運行在ARM架構芯片而非傳統x86芯片上的Windows系統。
PAIR個人AI路由
英偉達的工具,把智能體任務按能力分配到局域網內多臺設備上執行。
Prefill/Decode預填充/解碼
大模型推理的兩個階段,分別對應讀入提示詞和逐字生成輸出。
MOE混合專家模型
總參數量大但每次推理只激活一小部分參數的模型結構。

收聽指南

誰該聽

關心英偉達生態布局的芯片/AI工程師,以及糾結要不要買本地智能體電腦的潛在買家。

可跳過

開頭臺北發布會背景介紹信息量較低,可直接跳到CUDA護城河分析部分。