Etched 芯片真正解決的可能是帶寬,不是算力
Etched用0.45伏的超低電壓晶體管加跨芯片SRAM直連,把transformer焊進硬件,但主持人懷疑真正被解決的其實是帶寬問題,而不是算力問題。
核心論點 · 點時間戳可跳到原聲
創始人自己承認,這塊芯片可能白做
Etched兩年前公開表態,要為transformer單獨造芯片。當時transformer已經是語言模型的主流架構,但仍是一個非常具體的負載類型。公開的說法是,只為transformer造的芯片能跑得又快又省,但代價是一旦技術路線轉向,這塊芯片可能就沒用了。CEO自己承認,如果市場發生轉向,他們做的這一切可能就白費了。這是一個從一開始就公開承認失敗風險的賭注。
23歲肄業生配芯片老將,才融得到大錢
CEO Gavin Uberti是哈佛計算機科學系23歲的肄業學生,聯合創始人Robert Wacken同樣出身哈佛,但做的是學校成果轉化那一側,幫公司從零起步拿到錢。CTO Mark Ross則有Cisco和Cypress Semi的履歷,LinkedIn上寫著他帶隊做出了市場上第一款多端口以太網交換機,他也參與過Soho相關技術。年輕創始人加資深芯片老將的組合,是這家公司能拿到大額融資的部分原因。
記者探訪只看到閃燈,沒看到硅片
公司剛出現時就宣稱要用八顆芯片的機箱挑戰Nvidia,聲稱能跑到每秒50萬token,是當時Nvidia宣傳數字的很多倍。差不多同一時間,EE Times的記者Sally去總部實地探訪,看到的是一堆服務器在閃燈、發出蜂鳴聲,卻沒有真正看到硅片本身。一年多後公司才算真正走出隱身模式,芯片也才流片(tape out),Sally當時看到的很可能只是一款測試芯片。
低電壓能堆更多算力,代價是頻率上不去
普通高端桌面CPU大約跑在1.2到1.3伏,效率最好的桌面筆記本處理器也在接近1伏的區間。etched的低電壓推理芯片則跑在大約450毫伏,也就是0.45伏,已經逼近晶體管剛好能開關的閾值電壓(threshold voltage)。電壓越低,能塞進的計算單元數量就能倍增,代價是頻率上不去。目前唯一大規模用這種超低電壓晶體管的高算力行業是比特幣礦機,原因是挖礦算法只需要極少的數據進出,而機器學習恰恰是數據搬來搬去的負載,這正是etched要解決的下一個問題。
緩存不該只屬於自己那顆芯片
etched芯片封裝內有HBM,芯片內部還有一大塊SRAM高速緩存(scratch pad),供片內所有計算單元共用。第二項技術cluster scale memory,是把這塊SRAM緩存通過高速互聯開放給其他芯片直接訪問,類似跨芯片的RDMA,直接讀寫另一顆芯片的緩存和scratch pad,而不只是芯片內部使用。高速互聯需要電壓,所以低電壓計算省下來的功耗,可能被挪去喂這套跨芯片通信。
滿機箱黑線暴露了功耗預算的去向
etched展示的服務器實物圖裡,最先引人注意的是密密麻麻的黑色線纜,比Nvidia或AMD的系統明顯多得多。部分線纜用於液冷散熱,但很大一部分被認為是給cluster scale memory這種高帶寬互聯用的。主持人由此推測,etched真正解決的可能不是算力問題,而是芯片間通信的帶寬問題——低電壓計算省下來的功耗空間,被拿去堆砌互聯帶寬了。
硬編碼不等於寫死,它仍然可編程
低電壓推理和cluster scale memory這兩項技術名字本身都沒提到transformer,說明真正的綁定發生在計算單元的物理排布上——這是一塊為transformer硬編碼的芯片,但仍可編程,能跑不同版本的transformer,不像幾週前報道的另一款專用芯片設計那樣死板。主持人還沒等到機會跟團隊深入核對超越函數怎麼算、內存地址怎麼管、scratch pad裡數據的進出怎麼追蹤——如果這些都靠編譯器兜底,那就要指望他們的編譯器真的好用。
賣一百萬顆之前,先證明你能賣一千顆
etched說已經拿到不少超大規模雲廠商的興趣,但主持人引用Jim Keller的說法:想賣一百萬顆芯片,得先證明能賣十萬顆;想賣十萬顆,得先證明能賣一萬顆;想賣一萬顆,得先證明能賣一千顆——初創公司真正該被問的問題永遠是,你的百顆、千顆、萬顆客戶在哪裡。聯合創始人Robert Wacken在融資活動上說,etched內部的核心信條就是「交付」,即比同期成立的其他初創公司早一年把芯片做出來,並打算儘量維持這種快速迭代節奏,推出下一代芯片。
原話 · 已逐字校驗
if the market pivots then what they've done might be for nothing
如果市場發生轉向,他們做的這一切可能就白費了。
We're going to challenge Nvidia uh with an eight-way box claiming 500,000 tokens per second
我們要用一個八卡機箱挑戰Nvidia,宣稱能跑到每秒50萬個token。
these ultra low voltage transistors run at around 450 molts, 0.45 volts, uh, which is really low
這些超低電壓晶體管運行在大約450毫伏,也就是0.45伏,這真的很低。
You're actively accessing the cache and the scratchpad of another chip directly.
你是在直接訪問另一顆芯片的緩存和scratch pad。
that's a lot of cabling. It's a lot of black cabling going here, there, and everywhere.
這線纜真是夠多的。到處都是密密麻麻的黑色線纜。
what etched have solved here isn't so much the compute problem, but maybe a bandwidth problem
etched在這裡解決的可能不是算力問題,而是帶寬問題。
if you want to sell a million chips, you got to be able to sell 100,000. If you want to sell 100,000, you got to be able to sell 10,000.
如果你想賣出一百萬顆芯片,得先能賣出十萬顆。如果想賣出十萬顆,得先能賣出一萬顆。
the key ethos at etched is deliver deliver as in their internal metrics.
etched內部的核心信條就是「交付」,這是他們內部的考核指標。
數字與實體
| Etched B輪融資額 | 8億美元 | 1:04 |
| Etched C輪融資額 | 3億美元 | 1:04 |
| CEO Gavin Uberti創業時年齡 | 23歲 | 2:05 |
| 低電壓推理晶體管閾值電壓 | 約450毫伏(0.45伏) | 6:08 |
術語
- tape out流片
- 芯片設計定稿後送工廠正式製造的最後一步
- RDMA遠程直接內存訪問
- 繞過對方CPU,直接讀寫另一臺設備內存或緩存的技術
- threshold voltage閾值電壓
- 晶體管剛好能被打開(導通)所需的最低電壓
- cluster scale memory集群級內存互聯
- etched提出的技術,讓多顆芯片通過高速互聯共享各自的SRAM緩存
收聽指南
關注非Nvidia架構AI芯片創業、算力效率與帶寬瓶頸的投資人和芯片工程師,想知道transformer專用芯片除了融資炒作還有沒有真東西。
結尾主持人推銷自家周邊商城的部分可以跳過,不含信息。