AMD收購Talus：把AI模型燒進芯片，每秒跑1.7萬token
AMD收購了Talus，一家為特定AI模型定製芯片、實現每秒17,000 tokens的初創公司。這標誌著AI推理走向非可編程、模型專用芯片的方向。
核心論點 · 點時間戳可跳到原聲
Talus的顛覆性理念
Talus由Tenstorrent創始人Ljubisa Bajic創立，其核心概念是將AI模型直接燒錄到芯片中，實現非可編程的定製化芯片。這一理念在發布時遭到質疑，因為模型迭代快，定製芯片可能很快過時。但Talus認為，即使芯片只適用於特定模型，其100倍的速度提升也足以彌補更新換代的成本。
— 主持人Hardcore One芯片性能
Talus的首款芯片Hardcore One基於TSMC 6納米工藝，接近reticle尺寸，擁有530億晶體管，功耗至少300瓦。在Llama 3.1 8B模型上，其宣稱的每秒token數達到17,000，遠超Nvidia H200的230、Groq的600和Cerebras的2,000。這一數字在演示中得到了驗證，實際達到14,200 tokens/s。
— 主持人AMD收購細節
AMD已簽署協議收購Talus，團隊將向AMD AI負責人Vamsi Boppana彙報，並保持獨立團隊運作。Ljubisa曾在AMD工作，與Jim Keller相識，此次收購可視為迴歸。交易金額未披露，預計年底完成。
— 主持人AMD的AI戰略契合
AMD CEO Lisa Su強調AI部署是多種芯片的混合。Talus的芯片適合agentic AI中的小型模型調用，與AMD的Instinct GPU、EPYC CPU等形成互補。AMD已與Cerebras合作，但Talus的模型專用特性提供了另一種選擇。
— 主持人行業分析師觀點
Sally Ward Foxton認為，Talus與Groq類似，採用全SRAM架構，需要多芯片支持大模型，但適合與GPU配合處理解碼部分。她認為收購併不意外，因為Talus的軟件棧需求低，且技術獨特。
— Sally Ward Foxton收購價格猜測
Sally猜測收購價格可能在數十億美元級別，因為Nvidia收購Groq的20億美元交易推高了整個芯片初創公司的估值。Talus此前融資僅數千萬美元，因此數十億美元的估值是合理的。
— Sally Ward Foxton原話 · 已逐字校驗
The point about Talus, when they came out of stealth, was to say, "Hey, we've got an idea which is going to break the internet, break how fast you can run AI tokens. And it's going to be this concept of baking the AI model into the chip."
Talus在走出隱身模式時的觀點是：我們有一個想法，將打破互聯網，打破AI token運行速度的極限。這個概念就是將AI模型燒錄到芯片中。
主持人2:05
It says, "Chat Jimmy, how can I help you today?" And let's ask it a question. Say, "What is in the bubbles in pop?" Generated in 33 milliseconds, the answer came at a speed of 14,200 tokens per second.
它說：“Chat Jimmy，今天我能幫你什麼？”讓我們問它一個問題：“汽水裡的氣泡是什麼？”生成耗時33毫秒，回答速度達到每秒14,200個token。
主持人6:11
But, is the speed up from 200 tokens per second to 14,200 in this demo, or based on their numbers, 17,000 tokens per second, worth the effort for a company that has an established workflow, who is going to deploy to millions of users? Yeah. You would buy a new infrastructure set every 6 months if your speed up goes from 200 to 17,000.
但是，從每秒200個token提升到14,200（或他們聲稱的17,000），對於一個已有工作流程、將部署給數百萬用戶的公司來說，值得嗎？是的，如果速度提升從200到17,000，你每6個月就會購買一套新的基礎設施。
主持人7:11
Thing is, if a tool chain is fixed and it knows what models are being called, this is where Talus can really help. This is where on their first generation chip, if they're only doing 17,000 tokens per second, who knows what they're going to do with second generation chips, third generation chips.
問題是，如果工具鏈是固定的，並且知道調用哪些模型，這正是Talus能真正幫助的地方。在第一代芯片上，如果他們每秒只處理17,000個token，誰知道第二代、第三代芯片會做什麼。
主持人10:16
I mean, there's no doubt in my mind that it works. They also, because they only run one model at a time per chip, they don't really need much of a software stack, which is the other sticking point for startups usually in this kind of scenario.
我的意思是，我毫不懷疑它能工作。而且，因為每個芯片一次只運行一個模型，他們不需要太多的軟件棧，這通常是初創公司在這種情況下的另一個痛點。
Sally Ward Foxton13:18
數字與實體
| Talus Hardcore One芯片的晶體管數 | 530億 | 5:09 |
| Talus宣稱的每秒token數 | 17,000 | 5:09 |
| 演示中實際達到的每秒token數 | 14,200 | 6:11 |
| Nvidia H200的每秒token數 | 約230 | 5:09 |
| Groq的每秒token數 | 600 | 5:09 |
| Cerebras的每秒token數 | 2,000 | 5:09 |
| Talus芯片功耗 | 至少300瓦 | 5:09 |
| Talus融資額 | 數千萬美元 | 14:18 |
術語
- SRAM靜態隨機存取存儲器
- 一種高速存儲器，用於芯片緩存，速度快但容量小。
- reticle size掩模版尺寸
- 光刻中掩模版的最大尺寸，接近此尺寸的芯片面積很大。
- agentic AI智能體AI
- 能夠自主決策和執行任務的AI系統，通常涉及多個模型調用。
收聽指南
AI芯片創業者、投資者、數據中心架構師，以及關注推理性能與成本優化的技術決策者。
前3分鐘關於AI加速器背景的介紹可跳過，直接進入Talus介紹。