世界太吵,来原声听播客

TechTechPotato

推理速度才是新护城河:Cerebras 机架化再提速

Cerebras 的 WSE 3.5 把单芯片速度推到 4400 tok/s,CS4 机架把三片晶圆塞进 120kW 机柜。核心理由:推理要拆成 prefill 和 decode,速度才是护城河。

推理芯片Cerebras晶圆级计算SRAMOpenAI算力
Cerebras 很少把系统设计细节公开到这种程度,本集给出机架功耗、互连延迟、组件削减等硬数字,适合想验证 SRAM 推理路线是否成立的人听。

核心论点 · 点时间戳可跳到原声

6:11

WSE 3.5:同节点翻倍

Cerebras 没有等新制程,而是把 WSE3 做激进调频:频率接近翻倍,所以功耗也接近翻倍。它同时强调这不是简单挑体(binning),而是和台积电在同一个 N5 节点上做了针对电压和频率的设计优化。上一代 125 petlops 的稀疏 FP16 提到 250 petlops,核心数仍是 90 万、SRAM 仍是 44GB。物理良率靠缺陷核心动态绕行仍接近 100%,但参数良率一直是外部质疑点。

8:15

CS4 机架:三片晶圆一柜

旧设计是 16U 整机、单芯片独立供电和液冷,数据中心侧只做风冷。CS4 改为机架级:前面板放风扇和电源,后面是名为 backpack 的模块,液冷管道从顶部连接到竖直放置的晶圆芯片。一个机架放三片,作者按电源数量估算单片约 40kW、整架约 120kW,听起来和 Nvidia NVL72 同级。这不是规格炫耀,而是把 wafer-scale 放进标准数据中心形态。

10:18

2.4Tbps 模块化网络成平台

每片芯片的网络从上一代翻倍到 2.4Tbps,而且 IO 模块设计成可替换,未来若要支持 800G/200G/100G 或其他互联标准,可以直接换模块而不是重做系统。backpack 同时兼容未来 wafer 尺寸,因为晶圆已到物理极限,电源和液冷接口大致相似。作者认为 Cerebras 实际上在做一个机架级平台,这也是他们敢说 CS5 在 2027 下半年就能跟上的原因。

12:20

OpenAI 订单大头在未来芯片

WSE3 在能完整装进单芯片的模型上约 2300 tok/s,WSE 3.5 到 4400 tok/s;GPT-5.6 Sol 现在 750 tok/s,换新芯片后接近 1500 tok/s。CEO Andrew Feldman 明确说,OpenAI 这类协议虽有当期供货,但大头收入来自未来世代芯片,所以 CS4 这种平台化产品是履行订单的关键。此前公布与 OpenAI 的合作对应约 200 亿美元收入,这也是当初 IPO 讲的增长故事。

14:24

组件砍半,产能瓶颈松绑

第一代 wafer-scale 系统因为量小,用了大量定制机加件,基础设施成本远超合理水平。CS4 把组件数量砍掉一半甚至 60%,并大幅自动化,让产线可以爬坡——产能一直是财报电话会被追问的问题。作者得到的口径是:新世代系统会比上一代贵,但没透露涨多少;早期系统已开始出货,年底前放量。

17:25

别叫解聚,该叫分区

Cerebras 推荐的用法是 GPU 负责 prefill、Cerebras 负责 decode。作者认为 disaggregation 这个词是错的,应该叫 workload partitioning:把需要算力的部分给算力硬件,把需要访存的部分给访存硬件。Nvidia 买 Groq 就是为了 SRAM 解码性能,但他更关心 Groq 集成 NVLink 之后能否真正竞争;他看到的幻灯片说每架 NVL72 需要 9 架 Groq。Cerebras 作为独立公司还能与 AMD、AWS 合作,这是它比 Groq 灵活的地方。

19:28

速度本身就是商业模式

Cerebras 的取舍是通用性交换功耗和部署。Talis 等专用芯片可以跑到 17000 tok/s,但只能跑单个小模型;Cerebras 能跑任何 transformer 模型。对写代码或 agentic workflow 来说,每次输入都要等结果,快不只是体验,而是能把多个 idea 并行跑起来,减少等待。Cerebras 的商业模式就是让客户为高速 token 付溢价——按百万 token 计价,速度需求永远存在。

21:32

速度王座未变,看 CS5

作者总结:在 AI 硬件里 Cerebras 仍是速度之王,其他公司拼上下文长度或数学优化,但没有人在速度上超过它。这次从单台 16U 箱子升级为 120kW 三系统机架,等于把「怪东西」做成了标准数据中心形态。下一个看点是 CS5 在 2027 年下半年能否如期兑现,以及未来 10 万亿参数模型能不能靠这套平台支撑。

原话 · 已逐字校验

I believe one of these chips is probably pushing based on how many power supplies there are, 40 kW. That means three in a rack is about 120, which kind of sounds like Nvidia's NVL72 of course.

按电源数量推算,我认为每颗这样的芯片大概在 40kW。一个机架放三颗就是 120kW,这听起来当然有点像 Nvidia 的 NVL72。

what used to be five microsconds is now two microsconds uh for chip to chip in fast mode I think they have a regular mode which is more like three microsconds

芯片到芯片的延迟从原来的 5 微秒降到现在的 2 微秒(fast 模式),我记得还有一个普通模式,大概 3 微秒。

So, wave scale engine 3 previous generation did about 2300 tokens per second um on a standard model that fit all within memory I think in one chip. Um with this new chip, you can now get 4,400 tokens per second.

上一代 WSE3 在能完整装进单颗芯片内存的标准模型上大约每秒 2300 token。新芯片能到每秒 4400 token。

look, when these, uh, agreements are made, there's obviously some supply that's of the current generation, but you go into it knowing that a lot of that uh, revenue is going to come from future generation chips.

听着,签这些协议的时候,确实会有一些当前世代的供应,但你从一开始就知道,其中很大一部分收入将来自未来世代的芯片。

If you use GPU only, you might be getting 250 tokens per second. uh with Cerebrus with their new CS4 you can get over 4,500 tokens per second.

如果只用 GPU,可能每秒 250 token;用 Cerebras 新 CS4,能到每秒 4500 token 以上。

I think disagregation is the wrong word to be talking about it. We should be talking about partitioning workloads.

我认为 disaggregation 不是正确的词,我们应该说 partitioning workloads(分区工作负载)。

CUDA is not the moat. Speed is the moat and Cerebrus is one of those chips that gets you there with that speed.

CUDA 不是护城河,速度才是护城河。Cerebras 就是能用这种速度把你带到那里的芯片之一。

数字与实体

WSE3.5 稀疏 FP16 算力250 petlops(上代 125 petlops)7:13
CS4 单芯片/整机架功耗约 40kW / 约 120kW9:16
每芯片网络带宽2.4 Tbps,两倍于上代10:18
芯片间互连延迟fast 模式 2 微秒,regular 模式约 3 微秒(上代 5 微秒)11:18
CS4 组件数量减少约一半,可能达 60%14:24
NVL72 与 Groq 机架比每 1 架 NVL72 需 9 架 Groq17:25

术语

Wafer Scale Engine (WSE)晶圆级引擎
把一整片晶圆做成单颗芯片,用跨掩模拼接互联,避免多芯片间高延迟互连。
Cross-reticle stitching跨掩模拼接技术
把光刻掩模区域在晶圆上拼成一颗超大芯片,让面积超过单次曝光的极限。
Backpack背包模块
CS4 机架后部的可插拔模块,集成了液冷、供电与可替换网络 IO,外形像背包。
Prefill/Decode预填充/解码
LLM 推理两阶段:prefill 并行处理输入,decode 逐 token 生成,两者对硬件需求不同。
Parametric yield参数良率
晶圆上达到目标频率/电压的芯片比例,区别于物理良率。

收听指南

谁该听

关注 AI 推理芯片代际路线的创业者、做 Infra 选型的工程师、以及追踪 OpenAI 供应链的投资者。

可跳过

对 Cerebras 前几代历史很熟的听众,可跳过开头 0:01-3:09 的背景回顾,直接从 CS4 机架设计听起。