人人都能一键开发时,PM的核心价值变成了审美与取舍
模型人人能调,能跑起来的东西不再稀缺;能从一堆能做的事里挑出真正值得做的那一件,才是PM重新被需要的原因。
原视频在 YouTube 上放不出来,用音频听:
核心论点 · 点时间戳可跳到原声
模型是炼出来的,不是写出来的
Doshi说做模型PM最反直觉的一点是,你可以像传统产品一样设定目标、调整训练数据,但结果仍然不完全可控。她把这个过程比作斯内普的魔药课:材料都放对了,仍然会出现意料之外的「魔法」。PM的工作因此分成两半——一半是尽量塑造喂给模型的东西,另一半是等模型训练完之后,去发现它哪里意外地闪光,再把这种闪光打磨成用户能用上的产品体验。
— Tulsee DoshiGoogle的策略是全栈,不是单点最强
面对「Google落后于OpenAI和Anthropic」的质疑,Doshi回应Google并不打算放弃Frontier这条赛道,Gemini 4 Argonne本身就在冲前沿。但她强调Google真正的优势是全栈——从硬件到模型,再到覆盖10亿级用户的终端产品(她提到公司有14款产品月活过10亿),这让Google可以在成本与质量的帕累托曲线上,为搜索用户、工程师、网络安全防御者等不同群体分别提供合适的模型,而不只是追求一个「最强模型」的叙事。
— Tulsee Doshi用AI监控AI的思维链判断是否对齐
谈AI安全,Doshi没有停在「我们很谨慎」这种空话上,而是具体讲了Google在做什么:给模型部署监控器,实时读取模型的chain of thought,判断它的行为是否偏离了被赋予的指令,一旦发现对齐问题就介入。她同时指出安全不只是防止AI作恶,AI本身也在加固防御——Google与已被收购的Wiz合作「Scan for Good」项目,曾帮一家医院系统发现并修补了一个安全漏洞,这类案例是她判断「这件事在朝好的方向走」的依据之一。
— Tulsee Doshi人人都能建东西时,审美是稀缺品
当人人都能靠AI轻松把东西做出来,Doshi认为PM的价值反而上升了:门槛消失后,能从一堆能做的东西里挑出「值得做」的那一个,成了真正的稀缺能力。她特别强调Google这种同时推进大量产品线的公司,还需要有人把混乱拉回秩序——建造速度一旦快过协调能力,混乱本身就会变成代价,而「把噪音里的信号挑出来、让大家对齐到同一个方向」正是PM重新被需要的原因。
— Tulsee Doshi招PM越来越看重懂模型的vibes
Doshi说现在招研究类PM,越来越看重一种说不清道不明的能力——对模型vibes的判断力:这个人是不是每天都在真实地玩这些模型、有没有自己独特的场景去压测模型、能不能自己扎进数据里搭一个eval。她给出的入门建议很具体:不要一上来就想建大规模benchmark,先从5个prompt开始,甚至只用20个prompt就能在两个模型之间看出明显差异,先让自己对「什么是好」形成清晰判断,再考虑规模化。
— Tulsee Doshi肤色评测标准曾只有6级,还选错了
Doshi在负责任AI团队工作六年里推动的一项具体工作,是发现Google早期评测肤色代表性用的Fitzpatrick量表只有6级,而且这套量表最初是为医疗用途设计的,结果天然偏向浅肤色、没法代表全球人群的肤色分布。团队后来找到哈佛教授Monk基于多年人类学访谈建立的10级肤色量表,把它换进评测体系,并用来改进Pixel相机和图像生成等产品里肤色的呈现方式。
— Tulsee Doshi建得比模型现在的能力更超前一点
Doshi提出「60-20-20」框架回答「该为多超前的AI能力做产品」:60%的功能应该现在就能稳定跑通,做出一个真实可用的原型;20%的功能不完美但够用,而且能看到模型在不久的将来会补上这个缺口;剩下的20%是「我看到一点光亮,如果能实现会是惊艳体验」的方向。这比「提前三个月建」这种笼统建议更可操作,因为她自己做模型都很难预测三个月后模型会到哪。
— Tulsee Doshi烧的是小时数,还是无意义的消耗
面对AI时代「能做更多事,所以要做更多事」的职业倦怠焦虑,Doshi判断工作时长本身不是倦怠的根源,真正导致倦怠的是两件事——一是组织内部的混乱和反复(churn and chaos),二是做自己不享受、感觉像grunt work的工作。她的期待是,如果用对了AI工具,它应该先去清除那些让人厌烦的苦活,把时间腾给更有创造性、更有意义的部分,倦怠反而可能被这些工具缓解,而不是加剧。
— Tulsee Doshi原话 · 已逐字校验
it's kind of like, like Snape's potions class, right? So you can put all the ingredients in and you should be thoughtful about what you expect. But you also have to expect that there will be a little bit of magic and that that magic is going to be surprising and that magic is going to be unique.
这有点像斯内普的魔药课:你把所有原料都放进去,也该对结果有所预期,但你同样要预料到会出现一点点魔法,而那魔法会是出人意料的、独一无二的。
Tulsee Doshi3:03
deploying monitors that can monitor the model's chain of thought and actually identify whether the model is misaligned with its directed actions or whether it is aligned and then being able to intervene appropriately
部署能监控模型思维链的监控器,实际判断模型是否偏离了被赋予的指令、是否保持对齐,然后能够适当地介入干预。
Tulsee Doshi10:10
someone who can bring people together and drive consensus and turn chaos into order. I think becomes actually really important because in the absence of that and the ability to build as quickly as we now can, speed can basically introduce chaos
能把人聚到一起、推动达成共识、把混乱变成秩序的人,我认为变得非常重要,因为一旦没有这种能力,而我们又能这么快地去建造,速度本身就会制造混乱。
Tulsee Doshi20:19
Realistically, six skin tones cannot capture the diversity of skin tones in the world. Not only that, it was actually built for an entirely different purpose. It was built for like health care purposes.
实际上,六种肤色根本没法捕捉世界上肤色的多样性。不仅如此,它最初其实是为完全不同的用途设计的,是为医疗目的而建的。
Tulsee Doshi26:34
what you want to do is actually build such that like 60% of what you've built works now. And your prototype is at least functional, right? Then there's a set of maybe the 20% where you're like, it's not perfect, but it like works well enough.
你真正要做的,是让你建的东西里有60%现在就能跑通,你的原型至少是能用的。然后还有大概20%,不完美,但够用了。
Tulsee Doshi33:40
I think burnout comes not just from working a lot. It comes from, I think, two places. I think it comes, one, from when you feel like there is churn and chaos. I think that introduces burnout. I think the other thing that introduces burnout is work that you don't enjoy.
我认为职业倦怠不只是来自工作量大。它来自两个地方:一是当你感觉到组织内部有反复和混乱的时候,这会带来倦怠;二是做你不享受的工作,这也会带来倦怠。
Tulsee Doshi45:56
What you should be providing is the insight. What the model should be providing is the data.
你该提供的是洞察,模型该提供的是数据。
Tulsee Doshi48:58
数字与实体
| 用户超10亿的Google产品数 | 14个 | 7:06 |
| Fitzpatrick肤色量表级数 | 6级 | 26:34 |
| Monk肤色量表级数 | 10级 | 27:36 |
| Doshi此前任职Responsible AI产品负责人年限 | 6年 | 9:09 |
| Stanford flash teams研究距今时间 | 12年前 | 30:39 |
| Doshi所说团队当前工作强度 | 150% | 39:46 |
术语
- harness模型外壳/harness
- 包裹模型的系统提示、工具、技能和上下文,构成模型实际运行的环境。
- Pareto curve of cost to quality成本-质量帕累托曲线
- 不同模型在成本和质量上的权衡曲线,用来为不同场景匹配不同大小的模型。
- chain of thought monitoring思维链监控
- 实时读取模型的推理过程,判断其行为是否偏离指令、是否对齐。
- flash teams闪电团队
- 为完成特定任务临时组建、高效协作、完成后迅速解散的工作团队。
- Monk skin tone scaleMonk肤色量表
- 哈佛教授Monk基于人类学调研建立的10级肤色量表,比早期6级量表更能代表全球肤色分布。
- Fitzpatrick scaleFitzpatrick肤色量表
- 最初为医疗用途设计的6级肤色分类标准,曾被早期AI模型误用作肤色评测基准。
收听指南
做模型evals、关心Google AI战略,或想知道AI时代PM该补什么具体技能的产品经理和从业者。
最后约51:03开始的闪电问答(书单、电影、个人爱好)信息密度低,可跳过。