世界太吵,来原声听播客

Latent Space

PR成本从80美元砍到20美元,不是换模型,是把工厂写成代码

Warp把内部软件工厂整个定义成代码并接入观测闭环后,靠「观察-测量-调优」把每个PR成本从80美元压到15到20美元,PR吞吐同时提升40%。

软件工厂agent编排企业AI平台成本优化coding agent
讲清了软件工厂该拆成哪几层技术栈,并给出Warp自己调优agent系统前后的真实成本和吞吐数字,可供团队对照自查,而不只是一套产品话术。

核心论点 · 点时间戳可跳到原声

2:03

软件工厂不是随手拼自动化

Zach说大多数公司找过来时,已经把「用agent多写了点代码」就称作内部软件工厂,这是一种误解。他的定义是:一个在云端运行的agentic系统,团队要明确定义各类agent在构建产品过程中的角色,系统有一定自主性,并且必须是可测量、可基准测试、形成闭环的东西,团队可以随时间调优并建立信心。

— Zach Lloyd
4:10

工厂必须用代码定义

针对「买了工具就能出money machine」的误解,Zach强调软件工厂要落成具体、可运行的东西:用一份YAML文件定义有哪些repo、哪些MCP集成、哪些技能,整套workflow像Terraform一样声明式写在代码里,这样才能版本化、拉分支测试、随时回滚,而不是一堆松散的自动化拼凑。

— Zach Lloyd
6:15

所有agent对话必须汇到一处

无论任务从Slack、linear还是GitHub发起,都要先进入同一个系统触发预定义workflow。这样才能拿到跨团队agent工作的完整trace,包括computer use截图和每一步编排细节。Zach指出今天大多数公司做不到这点,因为工程师各自在本地终端用cloud code或codex,数据完全分散。

— Zach Lloyd
14:36

agent会给工厂定义提PR改自己

因为工厂定义本身就是代码,Warp的自我改进agent会分析历史失败案例——例如发现54个案例里triage agent本该拆出子agent去调查却没有——然后直接对工厂定义文件发起pull request来改进流程。这是一个完整的学习闭环,但Zach坦言还没做到「回放历史任务验证这个改动真的有效」这一步,属于下一步要补的能力。

— Zach Lloyd
16:41

benchmark要同时换模型和换harness

Zach认为不能只比模型,还要比harness(执行框架)。Warp允许把同一批真实任务用不同模型搭配不同harness(自家的、cloud code、codex、Pi)重新跑一遍,画出成本-正确率曲线,得到针对自己业务场景而非公开榜单的结果,再把这个结果喂进模型/harness路由策略。

— Zach Lloyd
23:51

调优让每PR成本降了四分之三

Warp自己用这套体系调优:一开始因为滥用Opus、triage用了算力过高的模型、子agent拆分过细,每个PR要花80美元;调优后降到15到20美元左右。同时过去一个月PR吞吐量提升40%,revert率没有上升,Zach把这当作「观察-测量-调优」方法论真正见效的证据。

— Zach Lloyd
26:58

五到十个工程师以下别碰这套东西

被问到谁真正需要这套平台,Zach明确划线:几个人的小团队直接订阅Cloud Code或Codex就够了,上这套系统反而是overkill;真正划算的门槛大约是5到10名工程师起步,公司越大越需要,但实施复杂度也随规模增长,10到100人的成长期公司如果本来就用Slack、linear这类「happy stack」反而能自助式接入。

— Zach Lloyd
31:07

有公司在轮换200个账号凑订阅

谈到最硬的反对意见,Zach说有些小公司很想要这套系统,却还在靠轮换一堆200美元订阅账号凑用量,因为按API计费比订阅贵5到50倍;他坦言不确定这种轮换订阅的做法算不算违反服务条款,但承认这确实是目前最便宜的方式,只是不可规模化,公司规模一大就做不了了。

— Zach Lloyd
33:13

不做token转卖,因为打不过订阅经济

Zach说Warp不想做纯coding agent生意,因为订阅补贴力度太大(200美元订阅约等于8000美元API额度),纯按API计费的竞争者根本打不过。Cursor的解法是转型做模型实验室,Warp则选择做agent优化和生产力平台,刻意不在这个战场上竞争。

— Zach Lloyd

原话 · 已逐字校验

you should actually think of a software factory as a very specific thing. Like you should define your factory in code.

你应该把软件工厂当成一件非常具体的事情,你应该用代码来定义你的工厂。

Zach Lloyd4:10

because you have your whole factory defined as code and these are coding agents, they can essentially make a pull request against the factory definition to try to improve the factory itself.

因为你的整个工厂是用代码定义的,而这些又是coding agent,它们基本上可以针对工厂定义本身发起一个pull request,来尝试改进工厂本身。

Zach Lloyd15:36

you're getting out of the realm of guessing and you're getting into what we call factory engineering, where it's like you are taking a real engineering mindset.

你从靠猜测的领域走出来,进入我们所说的「工厂工程」,也就是你真正用上了工程思维。

Zach Lloyd18:50

when we first started using the factory approach, it was costing us about $80 per PR because we were using like Opus where we shouldn't have.

我们刚开始用工厂这套方法的时候,每个PR大概要花80美元,因为我们在不该用Opus的地方用了Opus。

Zach Lloyd23:51

that is between five to fifty times more expensive than just getting a whole bunch of subs

这比直接买一大堆订阅要贵5到50倍。

Zach Lloyd31:07

you can't you can't build a competitive coding agent on top of a thing that costs so much more money and like that's just the reality

你没法在一个成本高出这么多的东西之上做出一个有竞争力的coding agent,这就是现实。

Zach Lloyd32:07

we're not trying to pitch like a token reselling product we're trying to pitch basically in you know a coding agent optimization platform and a coding agent like productivity platform

我们不是想卖一个token转卖的产品,我们想卖的基本上是一个coding agent优化平台,以及一个coding agent生产力平台。

Zach Lloyd33:13

数字与实体

调优前每PR成本约80美元23:51
调优后每PR成本约15-20美元23:51
PR吞吐量环比提升40%24:55
GPT-5.6-Sol 任务正确率/平均成本95%正确,平均6美元17:45
GLM-5.3-Flash 任务正确率/平均成本93%正确,平均2美元17:45
200美元订阅约等于的API额度约8000美元32:07
按量API计费相对订阅的成本倍数5到50倍31:07

术语

software factory软件工厂
用代码声明的agentic系统,按预定义workflow自动构建产品的闭环平台
harness执行框架
coding agent实际运行所依赖的工具/编排层,可替换不同厂商实现
scorers / online evals在线评分器
用LLM作裁判,对历史agent运行结果自动打分找失败模式的机制
factory engineering工厂工程
把优化agent系统本身当成一门工程学科,靠测量和调优而非凭感觉
ADLC/SDLC智能体/软件开发生命周期
把传统软件开发流程的各阶段换成由agent驱动的版本

收听指南

谁该听

正在搭建公司内部agent编程平台的CTO、platform/devx团队,以及想了解企业级coding agent基础设施该长什么样的工程负责人。

可跳过

开头关于AIE Code大会的宣传片段(0:00-1:02)可以跳过。