Etched的芯片,可能解决的是带宽而不是算力
Etched用0.45伏的超低电压晶体管加跨芯片SRAM直连,把transformer焊进硬件,但主持人怀疑真正被解决的其实是带宽问题,而不是算力问题。
核心论点 · 点时间戳可跳到原声
赌一个特定负载
Etched两年前公开表态,要为transformer单独造芯片。当时transformer已经是语言模型的主流架构,但仍是一个非常具体的负载类型。公开的说法是,只为transformer造的芯片能跑得又快又省,但代价是一旦技术路线转向,这块芯片可能就没用了。CEO自己承认,如果市场发生转向,他们做的这一切可能就白费了。这是一个从一开始就公开承认失败风险的赌注。
团队背景不寻常
CEO Gavin Uberti是哈佛计算机科学系23岁的肄业学生,联合创始人Robert Wacken同样出身哈佛,但做的是学校成果转化那一侧,帮公司从零起步拿到钱。CTO Mark Ross则有Cisco和Cypress Semi的履历,LinkedIn上写着他带队做出了市场上第一款多端口以太网交换机,他也参与过Soho相关技术。年轻创始人加资深芯片老将的组合,是这家公司能拿到大额融资的部分原因。
出隐身模式时的争议演示
公司刚出现时就宣称要用八颗芯片的机箱挑战Nvidia,声称能跑到每秒50万token,是当时Nvidia宣传数字的很多倍。差不多同一时间,EE Times的记者Sally去总部实地探访,看到的是一堆服务器在闪灯、发出蜂鸣声,却没有真正看到硅片本身。一年多后公司才算真正走出隐身模式,芯片也才流片(tape out),Sally当时看到的很可能只是一款测试芯片。
超低电压的门道
普通高端桌面CPU大约跑在1.2到1.3伏,效率最好的桌面笔记本处理器也在接近1伏的区间。etched的低电压推理芯片则跑在大约450毫伏,也就是0.45伏,已经逼近晶体管刚好能开关的阈值电压(threshold voltage)。电压越低,能塞进的计算单元数量就能倍增,代价是频率上不去。目前唯一大规模用这种超低电压晶体管的高算力行业是比特币矿机,原因是挖矿算法只需要极少的数据进出,而机器学习恰恰是数据搬来搬去的负载,这正是etched要解决的下一个问题。
让芯片共享缓存
etched芯片封装内有HBM,芯片内部还有一大块SRAM高速缓存(scratch pad),供片内所有计算单元共用。第二项技术cluster scale memory,是把这块SRAM缓存通过高速互联开放给其他芯片直接访问,类似跨芯片的RDMA,直接读写另一颗芯片的缓存和scratch pad,而不只是芯片内部使用。高速互联需要电压,所以低电压计算省下来的功耗,可能被挪去喂这套跨芯片通信。
满机箱的黑色线缆
etched展示的服务器实物图里,最先引人注意的是密密麻麻的黑色线缆,比Nvidia或AMD的系统明显多得多。部分线缆用于液冷散热,但很大一部分被认为是给cluster scale memory这种高带宽互联用的。主持人由此推测,etched真正解决的可能不是算力问题,而是芯片间通信的带宽问题——低电压计算省下来的功耗空间,被拿去堆砌互联带宽了。
硬编码的transformer,仍有未解之谜
低电压推理和cluster scale memory这两项技术名字本身都没提到transformer,说明真正的绑定发生在计算单元的物理排布上——这是一块为transformer硬编码的芯片,但仍可编程,能跑不同版本的transformer,不像几周前报道的另一款专用芯片设计那样死板。主持人还没等到机会跟团队深入核对超越函数怎么算、内存地址怎么管、scratch pad里数据的进出怎么追踪——如果这些都靠编译器兜底,那就要指望他们的编译器真的好用。
客户规模才是真问题
etched说已经拿到不少超大规模云厂商的兴趣,但主持人引用Jim Keller的说法:想卖一百万颗芯片,得先证明能卖十万颗;想卖十万颗,得先证明能卖一万颗;想卖一万颗,得先证明能卖一千颗——初创公司真正该被问的问题永远是,你的百颗、千颗、万颗客户在哪里。联合创始人Robert Wacken在融资活动上说,etched内部的核心信条就是「交付」,即比同期成立的其他初创公司早一年把芯片做出来,并打算尽量维持这种快速迭代节奏,推出下一代芯片。
原话 · 已逐字校验
if the market pivots then what they've done might be for nothing
如果市场发生转向,他们做的这一切可能就白费了。
We're going to challenge Nvidia uh with an eight-way box claiming 500,000 tokens per second
我们要用一个八卡机箱挑战Nvidia,宣称能跑到每秒50万个token。
these ultra low voltage transistors run at around 450 molts, 0.45 volts, uh, which is really low
这些超低电压晶体管运行在大约450毫伏,也就是0.45伏,这真的很低。
You're actively accessing the cache and the scratchpad of another chip directly.
你是在直接访问另一颗芯片的缓存和scratch pad。
that's a lot of cabling. It's a lot of black cabling going here, there, and everywhere.
这线缆真是够多的。到处都是密密麻麻的黑色线缆。
what etched have solved here isn't so much the compute problem, but maybe a bandwidth problem
etched在这里解决的可能不是算力问题,而是带宽问题。
if you want to sell a million chips, you got to be able to sell 100,000. If you want to sell 100,000, you got to be able to sell 10,000.
如果你想卖出一百万颗芯片,得先能卖出十万颗。如果想卖出十万颗,得先能卖出一万颗。
the key ethos at etched is deliver deliver as in their internal metrics.
etched内部的核心信条就是「交付」,这是他们内部的考核指标。
数字与实体
| Etched B轮融资额 | 8亿美元 | 1:04 |
| Etched C轮融资额 | 3亿美元 | 1:04 |
| CEO Gavin Uberti创业时年龄 | 23岁 | 2:05 |
| 低电压推理晶体管阈值电压 | 约450毫伏(0.45伏) | 6:08 |
术语
- tape out流片
- 芯片设计定稿后送工厂正式制造的最后一步
- RDMA远程直接内存访问
- 绕过对方CPU,直接读写另一台设备内存或缓存的技术
- threshold voltage阈值电压
- 晶体管刚好能被打开(导通)所需的最低电压
- cluster scale memory集群级内存互联
- etched提出的技术,让多颗芯片通过高速互联共享各自的SRAM缓存
收听指南
关注非Nvidia架构AI芯片创业、算力效率与带宽瓶颈的投资人和芯片工程师,想知道transformer专用芯片除了融资炒作还有没有真东西。
结尾主持人推销自家周边商城的部分可以跳过,不含信息。