世界太吵,来原声听播客

Latent Space

GPU 稀缺的真正病根:算力只能整块按三年期打包购买

他说,GPU 短缺最大的问题不是抢不到卡,而是几乎所有产能都打包成三到六个月后交付的三年期合约出售,这和大多数客户真实的忽高忽低的需求完全对不上。

算力采购GPU稀缺NeocloudAgent基础设施企业安全商业模式

原视频在 YouTube 上放不出来,用音频听:

想了解 GPU 算力采购、Neocloud 融资套路和沙箱基础设施真实运转逻辑的人,这集信息密度很高,值得完整听完。

核心论点 · 点时间戳可跳到原声

8:38

一个客户撑起早期九成收入

Modal 真正的拐点出现在 2022 年 11 月到 2023 年 1 月:月收入从 100 美元跳到 2000 美元,再跳到 3 万美元。但这波增长几乎全靠一家客户——纽约的 Stable Diffusion 公司 Mage,在 2023 年第一季度一度占到公司收入的八到九成。Erik 说那一刻感受到的不是庆祝,而是「这下终于可以把焦虑放下」的松一口气。

— Erik Bernhardsson
13:48

算力市场从现货变成三年定金

Modal 早期几乎全靠从 AWS、GCP、Azure 买 spot 和按需算力,哪里便宜去哪里。但过去一年市场彻底变了:现在要拿到算力,得和将近 25 家云厂商签三年以上的合约,还要先付一大笔钱。公司为此新建了专职「产能采购台」,四个人天天打电话和云厂商谈判、验货,另外还有十人规模的工程团队专门处理裸金属服务器、网线、坏盘这些脏活累活。

— Erik Bernhardsson
19:25

他更怕暴跌,不怕涨价

很多人以为算力公司最怕 GPU 涨价,Erik 说恰恰相反:涨价对 Modal 反而是好事,因为公司已经锁定了大量三年期低价合约,相当于变相「做多」了 GPU 价格;真正让他担心的是价格突然崩盘,那会让所有在高点囤下长期合约的人严重亏钱。他也明确表态不打算去囤下整个市场,哪怕理论上现在就能这么做。

— Erik Bernhardsson
28:35

Neocloud 靠先签约再买卡滚雪球

他拆解了 nScale 这类新兴云厂商如何从几乎没有产能做到几千亿美元订单储备:先找 Anthropic、OpenAI 这样的大买家签下五年算力合同,拿着合同去华尔街融资,再用这笔钱向 Supermicro、Dell、英伟达采购硬件交付——本质是把还没买的卡预先卖出去。Modal 走的是产品驱动增长、客户分散的路线,很难用同样的杠杆玩法快速扩张产能。

— Erik Bernhardsson
34:27

Sandbox 从差点关停到占三分之一收入

Modal Sandboxes 是 2023 年一次午饭闲聊想出来的点子——「LLM 都在吐代码了,总得有个地方跑吧」,一两天就写出原型上线,但很长时间几乎没人用,团队一度讨论过要不要关掉这个产品。转折发生在同年下半年:模型突然擅长生成完整应用,Lovable 这类 vibe coding 公司、Ramp 的后台 agent、以及做强化学习的新实验室先后涌入,如今 Sandbox 已经占到 Modal 收入的三分之一。

— Erik Bernhardsson
44:13

沙箱该秒开秒关而不是云上开发机

他认为现在大部分人把沙箱当成「把开发机搬到云上」用,这是错的心智模型。真正该有的样子是:agent 24 小时在跑,需要执行命令时在百毫秒内拉起一个沙箱,跑完立刻快照、关闭。Modal 上沙箱的中位生存时间已经只有 8 秒。这能让 CI 测试真正做到「每个测试一个独立沙箱」并发跑,而不是现在这种每个分片都要重新装一遍依赖的笨办法。

— Erik Bernhardsson
47:34

Hugging Face 事件:被黑的是应用不是平台

攻破 Hugging Face 的 agent,利用的是部署在 Modal 上某个应用自身的漏洞,再借此拿到更大权限,并非 Modal 平台被黑——他用「AWS 上有人的应用被黑,不等于 AWS 被黑」来类比。事后团队在反思能否把安全默认设置收紧一点,参考 AWS 后来把 S3 公开桶默认收紧的做法,同时已经开始用 agent 专门尝试「越狱」自家沙箱找漏洞,目前还没找到。

— Erik Bernhardsson
1:18:56

矩形算力才是稀缺的真正病根

Erik 念出了自己之前发的一条推文:GPU 短缺最大的问题不是买不到卡,而是几乎所有产能都被打包成「三到六个月后才交付的三年期矩形」出售,这和大多数用户真实的、一天内忽高忽低的需求形状完全对不上。他认为 Modal 的核心价值正是靠聚合几千个客户的需求,把这些参差不齐的波动摊平成一条平滑曲线,再反过来把算力切得很细地租给每个人。

— Erik Bernhardsson

原话 · 已逐字校验

we went from like, you know, hundred dollars a month in like, I think like November twenty twenty-two, and the next month we did like two thousand dollars a month, and then like January twenty twenty-three, we did like thirty thousand all of a sudden.

我们大概是从2022年11月那会儿,一个月100美元,下个月变成一个月2000美元,然后到2023年1月,一下子做到了3万美元。

Erik Bernhardsson8:38

I don't necessarily worry too much about prices going up. I do worry more about actually prices collapsing. I don't think that's gonna happen anytime soon.

我其实不太担心价格上涨,我更担心的是价格崩盘——不过我觉得短期内不会发生。

Erik Bernhardsson19:25

do you wanna buy, like, five years of chips? You know, sign this contract. We give you a good rate.

你想不想买五年份的芯片?签这份合同,我们给你一个好价格。

Erik Bernhardsson28:35

imagine, you know, like, Claude Code instead of, you know, having sort of a very linear flow, like sequential flow, like kind of branching and, you know, running hundreds of agents at the same time.

想象一下,Claude Code 不再是一条线性的、顺序执行的流程,而是像树一样分叉,同时跑着成百上千个 agent。

Erik Bernhardsson44:13

this is an app running a Modal that was hacked. Like, it was not Modal that was hacked.

被黑的是一个跑在 Modal 上的应用,不是 Modal 本身被黑了。

Erik Bernhardsson47:34

The biggest downside of GPU scarcity is not that it's hard to get GPUs, but that almost all capacity is sold as three years, as a three-year rectangle starting three to six months in the future. That's not what demand looks like for most users.

GPU 稀缺最大的坏处不是难买到卡,而是几乎所有产能都按三年期出售——是一个从三到六个月后才开始交付的三年期「矩形」。而大多数用户真实的需求形状根本不是这样的。

Erik Bernhardsson1:18:56

Is Taylor Swift a commodity? Like she releases a big album and goes on a tour and makes a lot of money and then, you know, then there's like a down year when she goes and like records

Taylor Swift 算不算一种大宗商品?她发一张大专辑、开巡演,赚很多钱,然后会有一年收入下滑,因为她在录音室里录歌。

Erik Bernhardsson1:23:09

数字与实体

Modal月收入(2022年11月)100美元8:38
Modal月收入(2023年1月)3万美元8:38
早期头号客户Mage占收入比例80%-90%(2023年第一季度)9:10
目前合作云厂商数量约25家13:48
专职产能采购与运维团队规模采购4人,裸金属运维约10人14:58
Sandbox占Modal总收入比例约三分之一34:27
Sandbox收入月环比增速约30%1:20:02
FDE(现场部署工程师)人数变化一年内从4人增至24人58:06
Modal当前员工总数超过200人1:11:00
Modal明年预计员工总数约700人1:13:30

术语

BYOC自带云部署
控制面留在厂商手里,但把算力部署进客户自己的云账户
Neoclouds新兴算力云厂商
靠长期算力采购合同去融资、再买硬件扩张的新一代云服务商
spot capacity现货算力
可被随时抢占、价格较低的闲置云算力
FDE现场部署工程师
常驻客户项目一线,边做实施边把经验反哺产品的工程师
MFU模型算力利用率
衡量一块GPU实际跑出的token产出占理论上限的比例

收听指南

谁该听

做算力/云基础设施采购决策的创始人和工程负责人,以及想理解 Neocloud、沙箱、agent 基础设施生意逻辑的投资人。

可跳过

开场约7分钟的个人履历(Spotify、Better.com)可以跳过。