GPU 稀缺的真正病根:算力只能整块按三年期打包购买
他说,GPU 短缺最大的问题不是抢不到卡,而是几乎所有产能都打包成三到六个月后交付的三年期合约出售,这和大多数客户真实的忽高忽低的需求完全对不上。
原视频在 YouTube 上放不出来,用音频听:
核心论点 · 点时间戳可跳到原声
一个客户撑起早期九成收入
Modal 真正的拐点出现在 2022 年 11 月到 2023 年 1 月:月收入从 100 美元跳到 2000 美元,再跳到 3 万美元。但这波增长几乎全靠一家客户——纽约的 Stable Diffusion 公司 Mage,在 2023 年第一季度一度占到公司收入的八到九成。Erik 说那一刻感受到的不是庆祝,而是「这下终于可以把焦虑放下」的松一口气。
— Erik Bernhardsson算力市场从现货变成三年定金
Modal 早期几乎全靠从 AWS、GCP、Azure 买 spot 和按需算力,哪里便宜去哪里。但过去一年市场彻底变了:现在要拿到算力,得和将近 25 家云厂商签三年以上的合约,还要先付一大笔钱。公司为此新建了专职「产能采购台」,四个人天天打电话和云厂商谈判、验货,另外还有十人规模的工程团队专门处理裸金属服务器、网线、坏盘这些脏活累活。
— Erik Bernhardsson他更怕暴跌,不怕涨价
很多人以为算力公司最怕 GPU 涨价,Erik 说恰恰相反:涨价对 Modal 反而是好事,因为公司已经锁定了大量三年期低价合约,相当于变相「做多」了 GPU 价格;真正让他担心的是价格突然崩盘,那会让所有在高点囤下长期合约的人严重亏钱。他也明确表态不打算去囤下整个市场,哪怕理论上现在就能这么做。
— Erik BernhardssonNeocloud 靠先签约再买卡滚雪球
他拆解了 nScale 这类新兴云厂商如何从几乎没有产能做到几千亿美元订单储备:先找 Anthropic、OpenAI 这样的大买家签下五年算力合同,拿着合同去华尔街融资,再用这笔钱向 Supermicro、Dell、英伟达采购硬件交付——本质是把还没买的卡预先卖出去。Modal 走的是产品驱动增长、客户分散的路线,很难用同样的杠杆玩法快速扩张产能。
— Erik BernhardssonSandbox 从差点关停到占三分之一收入
Modal Sandboxes 是 2023 年一次午饭闲聊想出来的点子——「LLM 都在吐代码了,总得有个地方跑吧」,一两天就写出原型上线,但很长时间几乎没人用,团队一度讨论过要不要关掉这个产品。转折发生在同年下半年:模型突然擅长生成完整应用,Lovable 这类 vibe coding 公司、Ramp 的后台 agent、以及做强化学习的新实验室先后涌入,如今 Sandbox 已经占到 Modal 收入的三分之一。
— Erik Bernhardsson沙箱该秒开秒关而不是云上开发机
他认为现在大部分人把沙箱当成「把开发机搬到云上」用,这是错的心智模型。真正该有的样子是:agent 24 小时在跑,需要执行命令时在百毫秒内拉起一个沙箱,跑完立刻快照、关闭。Modal 上沙箱的中位生存时间已经只有 8 秒。这能让 CI 测试真正做到「每个测试一个独立沙箱」并发跑,而不是现在这种每个分片都要重新装一遍依赖的笨办法。
— Erik BernhardssonHugging Face 事件:被黑的是应用不是平台
攻破 Hugging Face 的 agent,利用的是部署在 Modal 上某个应用自身的漏洞,再借此拿到更大权限,并非 Modal 平台被黑——他用「AWS 上有人的应用被黑,不等于 AWS 被黑」来类比。事后团队在反思能否把安全默认设置收紧一点,参考 AWS 后来把 S3 公开桶默认收紧的做法,同时已经开始用 agent 专门尝试「越狱」自家沙箱找漏洞,目前还没找到。
— Erik Bernhardsson矩形算力才是稀缺的真正病根
Erik 念出了自己之前发的一条推文:GPU 短缺最大的问题不是买不到卡,而是几乎所有产能都被打包成「三到六个月后才交付的三年期矩形」出售,这和大多数用户真实的、一天内忽高忽低的需求形状完全对不上。他认为 Modal 的核心价值正是靠聚合几千个客户的需求,把这些参差不齐的波动摊平成一条平滑曲线,再反过来把算力切得很细地租给每个人。
— Erik Bernhardsson原话 · 已逐字校验
we went from like, you know, hundred dollars a month in like, I think like November twenty twenty-two, and the next month we did like two thousand dollars a month, and then like January twenty twenty-three, we did like thirty thousand all of a sudden.
我们大概是从2022年11月那会儿,一个月100美元,下个月变成一个月2000美元,然后到2023年1月,一下子做到了3万美元。
Erik Bernhardsson8:38
I don't necessarily worry too much about prices going up. I do worry more about actually prices collapsing. I don't think that's gonna happen anytime soon.
我其实不太担心价格上涨,我更担心的是价格崩盘——不过我觉得短期内不会发生。
Erik Bernhardsson19:25
do you wanna buy, like, five years of chips? You know, sign this contract. We give you a good rate.
你想不想买五年份的芯片?签这份合同,我们给你一个好价格。
Erik Bernhardsson28:35
imagine, you know, like, Claude Code instead of, you know, having sort of a very linear flow, like sequential flow, like kind of branching and, you know, running hundreds of agents at the same time.
想象一下,Claude Code 不再是一条线性的、顺序执行的流程,而是像树一样分叉,同时跑着成百上千个 agent。
Erik Bernhardsson44:13
this is an app running a Modal that was hacked. Like, it was not Modal that was hacked.
被黑的是一个跑在 Modal 上的应用,不是 Modal 本身被黑了。
Erik Bernhardsson47:34
The biggest downside of GPU scarcity is not that it's hard to get GPUs, but that almost all capacity is sold as three years, as a three-year rectangle starting three to six months in the future. That's not what demand looks like for most users.
GPU 稀缺最大的坏处不是难买到卡,而是几乎所有产能都按三年期出售——是一个从三到六个月后才开始交付的三年期「矩形」。而大多数用户真实的需求形状根本不是这样的。
Erik Bernhardsson1:18:56
Is Taylor Swift a commodity? Like she releases a big album and goes on a tour and makes a lot of money and then, you know, then there's like a down year when she goes and like records
Taylor Swift 算不算一种大宗商品?她发一张大专辑、开巡演,赚很多钱,然后会有一年收入下滑,因为她在录音室里录歌。
Erik Bernhardsson1:23:09
数字与实体
| Modal月收入(2022年11月) | 100美元 | 8:38 |
| Modal月收入(2023年1月) | 3万美元 | 8:38 |
| 早期头号客户Mage占收入比例 | 80%-90%(2023年第一季度) | 9:10 |
| 目前合作云厂商数量 | 约25家 | 13:48 |
| 专职产能采购与运维团队规模 | 采购4人,裸金属运维约10人 | 14:58 |
| Sandbox占Modal总收入比例 | 约三分之一 | 34:27 |
| Sandbox收入月环比增速 | 约30% | 1:20:02 |
| FDE(现场部署工程师)人数变化 | 一年内从4人增至24人 | 58:06 |
| Modal当前员工总数 | 超过200人 | 1:11:00 |
| Modal明年预计员工总数 | 约700人 | 1:13:30 |
术语
- BYOC自带云部署
- 控制面留在厂商手里,但把算力部署进客户自己的云账户
- Neoclouds新兴算力云厂商
- 靠长期算力采购合同去融资、再买硬件扩张的新一代云服务商
- spot capacity现货算力
- 可被随时抢占、价格较低的闲置云算力
- FDE现场部署工程师
- 常驻客户项目一线,边做实施边把经验反哺产品的工程师
- MFU模型算力利用率
- 衡量一块GPU实际跑出的token产出占理论上限的比例
收听指南
做算力/云基础设施采购决策的创始人和工程负责人,以及想理解 Neocloud、沙箱、agent 基础设施生意逻辑的投资人。
开场约7分钟的个人履历(Spotify、Better.com)可以跳过。