自研芯片是場豪賭：架構一變，九個月內就可能被對手甩開
一旦對手摸到只在自家芯片上生效的新架構，押注自研芯片的實驗室可能在幾個月內就被清出賽場——這正是前沿玩家不敢把身家全壓在一款專屬芯片上的原因。
原視頻在 YouTube 上放不出來，用音頻聽：
核心論點 · 點時間戳可跳到原聲
押注推理速度而非訓練規模
Fractile 2022年夏天成立，當時行業還在被「教育」什麼是推理。Walter 的判斷是押注部署時代而非訓練時代：模型會像AlphaGo一樣，通過在測試時投入更多算力變得超越人類水平。這個判斷比同行早很多——他提到一家最近上市的推理芯片公司，直到18個月前做的其實還是訓練芯片，說明「押對方向」本身就是稀缺能力，而不是事後看起來那麼顯而易見。
— Walter Goodwin芯片市場看似多元實則同質
Walter 指出，今天的AI芯片市場表面上有一個極其豐富的選項「動物園」,但谷歌TPU、Meta MTIA、微軟Maya、OpenAI Jalapeno這些自研芯片，最終都要交給Broadcom這類市值2萬億美元的代工交付商完成從架構到流片的落地。它們用的都是同一種HBM內存、同一種張量核心做矩陣乘法、同一套台積電先進封裝——真正打通架構層到物理設計層全棧的團隊極少，這是一個結構性的行業特徵。
— Walter Goodwin放棄SRAM轉投高帶寬DRAM
公司前兩年像Grok、Cerebrus一樣押注SRAM芯片——計算單元和權重/KV緩存同片，帶寬極高，能把語言模型推到每秒數千token。但2023年底到2024年，Walter開始擔心這條路線的可擴展性：AI領域同時在增長的不只是參數量，還有正變得越來越重要的上下文長度，而SRAM容量天然有限。於是團隊轉向和內存廠商、代工廠聯合研發DRAM的超高帶寬方案，這套平臺將在明年下半年量產爬坡。
— Walter Goodwin更快聊天機器人是更快的馬
Walter 用福特的類比反駁「推理加速=更絲滑的聊天體驗」這個淺層敘事：亨利·福特問人們想要什麼，得到的回答是更快的馬，而不是汽車。同理，「更快的聊天機器人」只是快推理領域的「更快的馬」。他認為速度真正撬動能力的地方，是把萬億參數模型跑到每秒數千token,從而讓長時間運行的智能體被徹底提速——這才是快推理芯片真正該瞄準的場景，而不是對話延遲。
— Walter Goodwin護城河是提前三到六個月下注
Walter 把芯片競爭類比成前沿模型競賽：沒人能永遠擁有精準匹配當下工作負載的芯片，六個月後需求又會變。真正的優勢來自於保持一個「隨時可觸發量產」的技術路線儲備——如果能在架構判斷上結構性地領先競爭對手三到六個月，就足以拿下這段時間裡所有的新部署。這也是為什麼Fractile要自己掌握從架構設計到流片的全棧能力，而不是依賴外部合作方的節奏。
— Walter Goodwin帶寬增長遠落後於算力增長
Fractile內部在探索「帶寬的scaling law」:過去20年算力提升了約一百萬倍，而內存帶寬只提升了約40倍。這個失衡留出了空間——如果芯片帶寬足夠高，MOE模型可以做得更稀疏(比如從1/16稀疏度提到1/128、1/256)來換取同等智能水平下更低的計算量，但現有HBM芯片在超高稀疏度下會嚴重帶寬瓶頸，利用率很低。Fractile押注的25倍帶寬優勢，本質是想反過來牽引模型架構往更稀疏的方向走。
— Walter Goodwin自研芯片主要用來壓價英偉達
行業有個段子：大廠自研芯片的主要作用是壓低付給英偉達的價格，而不是實現英偉達做不到的能力，因為這些自研芯片在架構上和主流方案高度相似。Walter認為今天幾乎所有大規模部署方都在儘量多接入不同芯片平臺，原因之一就是算力這件事變得過於關乎生死，必須保有供應多樣性，而不是單純相信某一條技術路線能笑到最後。
— Walter Goodwin全押自研芯片是危險賭注
Walter認為前沿實驗室不會把身家全押在自研芯片上，深層原因是一場不對稱博弈——如果某個實驗室押注了專屬芯片，而對手發現了只在他們所選芯片上才生效的新突破，能帶來數倍的計算效率提升，自己可能在還沒來得及部署足夠多專屬芯片之前就被淘汰出局。所以這些前沿玩家反而需要彼此部署相同的平臺，因為他們是在模型層面競爭，而不是在芯片層面押生死注。這正是第三方前沿芯片公司長期存在的理由。
— Walter Goodwin原話 · 已逐字校驗
Right now we're trying to build a single chip. If you crack open an NVIDIA system, it has anywhere between kind of six and nine custom chips, all built by NVIDIA, to come together to build something that is really, really potent. So there's already a gap there.
我們現在還在努力造出一顆芯片。而如果你拆開一套英偉達系統，會發現裡面有六到九顆由英偉達自己打造的定製芯片組合在一起，才造就了這麼強悍的東西。差距已經擺在這裡了。
Walter Goodwin0:00
we need to find a way to pour more compute into these models at test time
我們需要找到辦法，在測試時給這些模型注入更多算力。
Walter Goodwin1:01
one of the things that I think is very striking is there's a lot of relatively identikit chips out there.
我覺得很驚人的一點是，市面上有大量彼此高度相似、幾乎像複製粘貼出來的芯片。
Walter Goodwin3:02
when Henry Ford sort of asked the rhetorical question of what people would have said they wanted and, you know, faster horses rather than a car. The snappier chatbot is kind of the faster horses of kind of fast inference.
就像亨利·福特那個反問：如果問人們想要什麼，他們會說想要更快的馬，而不是汽車。更絲滑的聊天機器人，就是快推理領域的「更快的馬」。
Walter Goodwin12:25
if you can just find a way to structurally carve out a three to six months advantage, you will be winning all of those deployments.
只要你能找到辦法，結構性地建立起三到六個月的領先優勢，你就會贏下這段時間裡所有的部署。
Walter Goodwin22:12
We've scaled flops like a million fold in the last 20 years. Memory bandwidth has gone up about 40x in the same time frame.
過去20年裡，我們把算力(flops)提升了大約一百萬倍，而同一時期內存帶寬只提升了大約40倍。
Walter Goodwin30:32
I could die in the nine months before I get to deploy enough of that chip that I've also now gained that kind of 5x in computational efficiency.
我可能在還沒來得及部署足夠多那種芯片、從而獲得那五倍計算效率提升之前，就已經死在了那九個月裡。
Walter Goodwin34:36
數字與實體
| NVIDIA系統內定製芯片數量 | 6到9顆 | 21:09 |
| Broadcom市值 | 2萬億美元 | 3:02 |
| Fractile員工規模 | 約150人 | 8:19 |
| 芯片流片週期 | 3到5個月 | 18:42 |
| 芯片攤銷回本週期 | 3到5年 | 18:42 |
| Fractile芯片帶寬優勢 | 比HBM芯片高25倍 | 28:28 |
| 20年來內存帶寬增長倍數 | 約40倍 | 30:32 |
術語
- HBM高帶寬內存
- 與GPU/TPU等芯片同封裝的高速DRAM,是當前主流AI芯片的標配內存
- ASIC house芯片代工交付商
- 如Broadcom,幫大廠把芯片架構設計落地為可流片版圖的後端合作方
- GDS2版圖文件格式
- 芯片設計最終提交給晶圓廠的文件，記錄每個晶體管和金屬層的物理位置
- DRC/LVS clean設計規則/版圖一致性籤核
- 版圖通過晶圓廠規則檢查且與電路圖一致，是流片前的最終籤核標準
- MFU模型算力利用率
- 芯片實際有效算力佔理論峰值算力的比例
- RSI遞歸自我改進
- AI利用自身能力迭代改進研發流程的概念，此處類比芯片設計自動化
收聽指南
關注AI推理芯片技術路線、算力採購與半導體創業格局的工程師和投資人。