世界太吵,来原声听播客

Odd Lots

美国AI创业公司私下都在用中国开源模型,只是不敢公开说

真正的护城河不是选哪个基础模型,而是能不能用自己的数据把开源权重微调成比巨头单次调用更便宜、更准的专用模型。

开源模型模型微调推理成本蒸馏争议算力短缺企业AI应用

原视频在 YouTube 上放不出来,用音频听:

从一家实际部署AI的创业公司角度拆解开源与闭源模型的真实成本账,比抽象讨论「蒸馏」「跑分」更落地,但结尾关于算力和模型自我迭代权重的猜测偏发散。

核心论点 · 点时间戳可跳到原声

5:13

建产品用闭源旗舰,跑业务用开源微调

Minerva 的做法是:开发阶段用 Claude、Astra 等前沿闭源模型,因为开发者的时间比 token 贵,不想在循环和报错上浪费工时;但一旦某个任务变得可重复、只需达到「客户满意」的完成标准,就切换到成本逻辑完全不同的框架——不再看每百万 token 的价格,而是看「每个完成任务的成本」,这时候开源模型就成了主力。这意味着闭源和开源不是互相替代,而是分别服务于两个不同阶段的经济学。

— Daniel Saidi
9:18

开源权重本身不值钱,能微调才值钱

Daniel 认为应用层公司现在从开源权重里拿到的真正好处是「微调」,而不是模型本身的性能。原因是实验室靠的是买来的海量数据,创业公司不可能复制那种数据规模,只能靠自己积累的几千条客户数据去微调一个通用模型,让它在具体任务上专精。他举例:原本用 OpenAI 模型把用户的自然语言请求转成 SQL 查询,又慢又贵;换成微调后的 Quen,速度更快、结果更准,公司因此获得了「很小的优势」——这正是像 Harvey、Cognition 这类应用层公司用自家数据微调 Kimi 之类模型、从而建立差异化的逻辑。

— Daniel Saidi
12:20

选开源的三个理由,成本只是第一个

Daniel 把企业选择开源模型的动机按重要性排序:第一是成本,要算清楚前期和运营支出是否低于付给 OpenAI、Anthropic 的账单;第二是数据主权和控制——企业把数据传给闭源模型的 API,换回答案,但模型不会因为你的用例而变得更好,自己微调则能让模型随数据持续进步;第三是议价权,一旦你手里有「自家训练的模型」这张牌,就能逼闭源厂商按价值定价,而不是你被单一供应商锁死。

— Daniel Saidi
17:39

微调的门槛已经崩塌,但数据壁垒没有

一年前想微调并自托管一个模型,需要一整个推理工程师团队;现在通过 Fireworks、Modal 这类服务,输入输出大约每百万 token 7 到 9 美元就能完成微调,有人甚至只花 90 美元就跑出了不错的最终训练结果。Daniel 提到 Harvey 为打造法律领域的 Tenant 模型花了约 600 万美元算力成本,而现在做类似事情的成本「相差两三个数量级」。但他强调:真正没有被商品化的是数据和评估体系的质量,这才是好微调和差微调之间的分水岭,也是 Mercor、Surge 这类数据公司能向实验室收取巨额费用的原因。

— Daniel Saidi
23:44

开源模型真正的风险不是数据泄露,是「去势模型」

Daniel 在准备这期节目时玩了被人关掉「拒绝」神经元的 DeepSeek 版本,也就是所谓的「obliterated model」(被去势的模型)。它的能力接近今年二月的 Astra 水平,但运行成本只是 Fable 的大约百分之一。他指出:实验室真正担心的从来不是「中国拿走了你的数据」,而是任何人只要改几个参数,就能拥有成千上万个能力接近 PhD 水平、毫无底线的「黑客分身」在云端同时运行——这是当前正在发生的真实安全风险,而他也坦承目前没有看到令人信服的政策解法。

— Daniel Saidi
27:47

蒸馏确实存在,但不是中国模型好的唯一原因

面对「中国开源模型是不是靠偷偷调用 Claude 蒸馏出来的」这个质疑,Daniel 举了反例:Reflection AI 是一家拥有英伟达投资、上万块 Blackwell GPU、严格遵守服务条款的美国开源模型公司,但它刚发布的旗舰模型仍然比中国开源模型落后三到六个月。这说明即便你有算力和人才、又不违规蒸馏,也追不上中国实验室的速度,侧面证明蒸馏不是全部原因——中国实验室在稀疏模型架构、推理框架开源等方面确实做出了被前沿实验室采纳的真实创新。

— Daniel Saidi
31:49

判断模型是否追上前沿,别看跑分,看能不能当「日常驾驶」

Daniel 认为跑分现在几乎没有意义——看到某个模型在某个基准上分数更高,并不能告诉你它在真实业务里是否更好。他给出的检验标准是:能不能直接把 Kimi 换进你现有的编程或客服流程里,性能是否真的持平。他半开玩笑地说,判断标准就是「我对着终端骂脏话的频率有没有下降」——如果没有,就说明还没追上。

— Daniel Saidi
38:56

每个「AI原生」员工大约需要一块顶级GPU的算力

面对「算力到底够不够」的争论,Daniel 给出一个第一性原理的估算:美国目前部署的顶级 Blackwell GPU 大约五百万到一千万块,而知识工作者大约一亿人。如果未来每个知识工作者都要配一个全天候运行的智能体,所需算力会远远超过现在的部署规模——这也是为什么马斯克和黄仁勋在白宫领奖时,据传格雷格·布罗克曼当场找马斯克谈算力置换的原因:连实验室自己都长期缺算力。

— Daniel Saidi

原话 · 已逐字校验

The main difference is open source means that you're disclosing all of the code, all of the data, the exact recipe that was used to train a model. And that's not what the Chinese labs are doing. What they're doing is they're releasing the weights of the model.

主要区别在于,开源意味着公开全部代码、全部数据、训练模型的精确配方,而中国实验室做的不是这个。他们做的是发布模型的权重。

Daniel Saidi7:14

I think the most important thing is cost. And what you have to do as a business is essentially do the calculation of I have to pay some upfront costs and then some operating costs. And is that cheaper than paying OpenAI and Anthropic?

我认为最重要的是成本。作为企业你要做的计算是:我要付一些前期成本和运营成本,这比付给 OpenAI 和 Anthropic 便宜吗?

Daniel Saidi12:20

Harvey on their tenant model spent about $ 6 million in compute to get to the absolute frontier of legal tasks. You compare that to how much it costs probably to run the new Fable model. And we're off by, you know, two, three orders of magnitude.

Harvey 为了让 Tenant 模型达到法律任务的绝对前沿水平,花了大约600万美元的算力。你拿这个和运行新版 Fable 模型的成本比一下,差了两三个数量级。

Daniel Saidi18:39

And you can tell it to do anything. And so if you see all these hacks that are going on right now, the theory on the internet is people are running swarms of these deep-seek obliterated models.

你可以让它做任何事。所以如果你看到现在正在发生的这些黑客攻击,网上的说法是,有人在用成群的这种被去势的 DeepSeek 模型。

Daniel Saidi24:45

What that basically tells you is the distillation is not the pure reason that the Chinese labs are where they are. They have lots of evidence of coming up with very novel techniques.

这基本说明,蒸馏并不是中国实验室达到现在这个水平的唯一原因。有大量证据表明他们确实提出了非常新颖的技术。

Daniel Saidi28:48

But if I can take Kimmy 3.2 and start replacing it as my daily driver in how I'm coding, okay, now I know that things have caught up. And how do I know that it's replaced? Am I yelling expletives into the terminal anymore? If I'm not, probably not.

但如果我能把 Kimi 3.2 换进我日常编程的流程里当作主力模型,那我就知道它真的追上来了。我怎么知道换成功了?看我是不是还在对着终端骂脏话。如果不骂了,那大概就是追上了。

Daniel Saidi32:51

a fully kind of like AI native employee should have about a GPU's worth of token consumption per year.

一个完全「AI 原生」的员工,每年大约需要消耗相当于一整块 GPU 算力的 token 用量。

Daniel Saidi38:56

A lot of them will talk about like Quinn and Kimmy, but not in public.

他们很多人私下里会聊 Quen 和 Kimi,但不会公开说。

Joe Weisenthal42:02

数字与实体

Harvey Tenant 模型算力成本约600万美元18:39
Fireworks 微调价格每百万输入/输出 token 约7-9美元17:39
最便宜微调案例成本最终训练跑约90美元17:39
相对 Sonnet 成本倍数便宜约10倍24:45
相对 Fable 成本倍数约为其1/10024:45
美国知识工作者人数估算约1亿人38:56

术语

open weight开放权重
只公开模型最终参数,不公开训练代码、数据和方法,区别于完全开源。
obliterated model被去势的模型
通过关闭模型内部「拒绝回答」相关参数,制造出无底线、有求必应的版本。
RL environment强化学习环境
模拟真实任务场景,供AI在其中反复试错训练的仿真系统。

收听指南

谁该听

正在决定自研产品该用闭源旗舰模型还是开源权重模型微调的创业者、工程负责人,以及关注AI基础设施成本结构的投资人。

可跳过

46:09之后关于模型自我迭代权重、AGI猜想的收尾闲聊偏离主题,可以跳过。