世界太吵,來原聲聽播客

Latent Space

GPU 稀缺的真正病根:算力只能整塊按三年期打包購買

他說,GPU 短缺最大的問題不是搶不到卡,而是幾乎所有產能都打包成三到六個月後交付的三年期合約出售,這和大多數客戶真實的忽高忽低的需求完全對不上。

算力採購GPU稀缺NeocloudAgent基礎設施企業安全商業模式

原視頻在 YouTube 上放不出來,用音頻聽:

想了解 GPU 算力採購、Neocloud 融資套路和沙箱基礎設施真實運轉邏輯的人,這集信息密度很高,值得完整聽完。

核心論點 · 點時間戳可跳到原聲

8:38

一個客戶撐起早期九成收入

Modal 真正的拐點出現在 2022 年 11 月到 2023 年 1 月:月收入從 100 美元跳到 2000 美元,再跳到 3 萬美元。但這波增長几乎全靠一家客戶——紐約的 Stable Diffusion 公司 Mage,在 2023 年第一季度一度佔到公司收入的八到九成。Erik 說那一刻感受到的不是慶祝,而是「這下終於可以把焦慮放下」的鬆一口氣。

— Erik Bernhardsson
13:48

算力市場從現貨變成三年定金

Modal 早期幾乎全靠從 AWS、GCP、Azure 買 spot 和按需算力,哪裡便宜去哪裡。但過去一年市場徹底變了:現在要拿到算力,得和將近 25 家雲廠商籤三年以上的合約,還要先付一大筆錢。公司為此新建了專職「產能採購臺」,四個人天天打電話和雲廠商談判、驗貨,另外還有十人規模的工程團隊專門處理裸金屬服務器、網線、壞盤這些髒活累活。

— Erik Bernhardsson
19:25

他更怕暴跌,不怕漲價

很多人以為算力公司最怕 GPU 漲價,Erik 說恰恰相反:漲價對 Modal 反而是好事,因為公司已經鎖定了大量三年期低價合約,相當於變相「做多」了 GPU 價格;真正讓他擔心的是價格突然崩盤,那會讓所有在高點囤下長期合約的人嚴重虧錢。他也明確表態不打算去囤下整個市場,哪怕理論上現在就能這麼做。

— Erik Bernhardsson
28:35

Neocloud 靠先簽約再買卡滾雪球

他拆解了 nScale 這類新興雲廠商如何從幾乎沒有產能做到幾千億美元訂單儲備:先找 Anthropic、OpenAI 這樣的大買家簽下五年算力合同,拿著合同去華爾街融資,再用這筆錢向 Supermicro、Dell、英偉達採購硬件交付——本質是把還沒買的卡預先賣出去。Modal 走的是產品驅動增長、客戶分散的路線,很難用同樣的槓桿玩法快速擴張產能。

— Erik Bernhardsson
34:27

Sandbox 從差點關停到佔三分之一收入

Modal Sandboxes 是 2023 年一次午飯閒聊想出來的點子——「LLM 都在吐代碼了,總得有個地方跑吧」,一兩天就寫出原型上線,但很長時間幾乎沒人用,團隊一度討論過要不要關掉這個產品。轉折發生在同年下半年:模型突然擅長生成完整應用,Lovable 這類 vibe coding 公司、Ramp 的後臺 agent、以及做強化學習的新實驗室先後湧入,如今 Sandbox 已經佔到 Modal 收入的三分之一。

— Erik Bernhardsson
44:13

沙箱該秒開秒關而不是雲上開發機

他認為現在大部分人把沙箱當成「把開發機搬到雲上」用,這是錯的心智模型。真正該有的樣子是:agent 24 小時在跑,需要執行命令時在百毫秒內拉起一個沙箱,跑完立刻快照、關閉。Modal 上沙箱的中位生存時間已經只有 8 秒。這能讓 CI 測試真正做到「每個測試一個獨立沙箱」併發跑,而不是現在這種每個分片都要重新裝一遍依賴的笨辦法。

— Erik Bernhardsson
47:34

Hugging Face 事件:被黑的是應用不是平臺

攻破 Hugging Face 的 agent,利用的是部署在 Modal 上某個應用自身的漏洞,再借此拿到更大權限,並非 Modal 平臺被黑——他用「AWS 上有人的應用被黑,不等於 AWS 被黑」來類比。事後團隊在反思能否把安全默認設置收緊一點,參考 AWS 後來把 S3 公開桶默認收緊的做法,同時已經開始用 agent 專門嘗試「越獄」自家沙箱找漏洞,目前還沒找到。

— Erik Bernhardsson
1:18:56

矩形算力才是稀缺的真正病根

Erik 念出了自己之前發的一條推文:GPU 短缺最大的問題不是買不到卡,而是幾乎所有產能都被打包成「三到六個月後才交付的三年期矩形」出售,這和大多數用戶真實的、一天內忽高忽低的需求形狀完全對不上。他認為 Modal 的核心價值正是靠聚合幾千個客戶的需求,把這些參差不齊的波動攤平成一條平滑曲線,再反過來把算力切得很細地租給每個人。

— Erik Bernhardsson

原話 · 已逐字校驗

we went from like, you know, hundred dollars a month in like, I think like November twenty twenty-two, and the next month we did like two thousand dollars a month, and then like January twenty twenty-three, we did like thirty thousand all of a sudden.

我們大概是從2022年11月那會兒,一個月100美元,下個月變成一個月2000美元,然後到2023年1月,一下子做到了3萬美元。

Erik Bernhardsson8:38

I don't necessarily worry too much about prices going up. I do worry more about actually prices collapsing. I don't think that's gonna happen anytime soon.

我其實不太擔心價格上漲,我更擔心的是價格崩盤——不過我覺得短期內不會發生。

Erik Bernhardsson19:25

do you wanna buy, like, five years of chips? You know, sign this contract. We give you a good rate.

你想不想買五年份的芯片?籤這份合同,我們給你一個好價格。

Erik Bernhardsson28:35

imagine, you know, like, Claude Code instead of, you know, having sort of a very linear flow, like sequential flow, like kind of branching and, you know, running hundreds of agents at the same time.

想像一下,Claude Code 不再是一條線性的、順序執行的流程,而是像樹一樣分叉,同時跑著成百上千個 agent。

Erik Bernhardsson44:13

this is an app running a Modal that was hacked. Like, it was not Modal that was hacked.

被黑的是一個跑在 Modal 上的應用,不是 Modal 本身被黑了。

Erik Bernhardsson47:34

The biggest downside of GPU scarcity is not that it's hard to get GPUs, but that almost all capacity is sold as three years, as a three-year rectangle starting three to six months in the future. That's not what demand looks like for most users.

GPU 稀缺最大的壞處不是難買到卡,而是幾乎所有產能都按三年期出售——是一個從三到六個月後才開始交付的三年期「矩形」。而大多數用戶真實的需求形狀根本不是這樣的。

Erik Bernhardsson1:18:56

Is Taylor Swift a commodity? Like she releases a big album and goes on a tour and makes a lot of money and then, you know, then there's like a down year when she goes and like records

Taylor Swift 算不算一種大宗商品?她發一張大專輯、開巡演,賺很多錢,然後會有一年收入下滑,因為她在錄音室裡錄歌。

Erik Bernhardsson1:23:09

數字與實體

Modal月收入(2022年11月)100美元8:38
Modal月收入(2023年1月)3萬美元8:38
早期頭號客戶Mage佔收入比例80%-90%(2023年第一季度)9:10
目前合作雲廠商數量約25家13:48
專職產能採購與運維團隊規模採購4人,裸金屬運維約10人14:58
Sandbox佔Modal總收入比例約三分之一34:27
Sandbox收入月環比增速約30%1:20:02
FDE(現場部署工程師)人數變化一年內從4人增至24人58:06
Modal當前員工總數超過200人1:11:00
Modal明年預計員工總數約700人1:13:30

術語

BYOC自帶雲部署
控制面留在廠商手裡,但把算力部署進客戶自己的雲賬戶
Neoclouds新興算力雲廠商
靠長期算力採購合同去融資、再買硬件擴張的新一代雲服務商
spot capacity現貨算力
可被隨時搶佔、價格較低的閒置雲算力
FDE現場部署工程師
常駐客戶項目一線,邊做實施邊把經驗反哺產品的工程師
MFU模型算力利用率
衡量一塊GPU實際跑出的token產出佔理論上限的比例

收聽指南

誰該聽

做算力/雲基礎設施採購決策的創始人和工程負責人,以及想理解 Neocloud、沙箱、agent 基礎設施生意邏輯的投資人。

可跳過

開場約7分鐘的個人履歷(Spotify、Better.com)可以跳過。