人人都能一鍵開發時,PM的核心價值變成了審美與取捨
模型人人能調,能跑起來的東西不再稀缺;能從一堆能做的事裡挑出真正值得做的那一件,才是PM重新被需要的原因。
原視頻在 YouTube 上放不出來,用音頻聽:
核心論點 · 點時間戳可跳到原聲
模型是煉出來的,不是寫出來的
Doshi說做模型PM最反直覺的一點是,你可以像傳統產品一樣設定目標、調整訓練數據,但結果仍然不完全可控。她把這個過程比作斯內普的魔藥課:材料都放對了,仍然會出現意料之外的「魔法」。PM的工作因此分成兩半——一半是儘量塑造餵給模型的東西,另一半是等模型訓練完之後,去發現它哪裡意外地閃光,再把這種閃光打磨成用戶能用上的產品體驗。
— Tulsee DoshiGoogle的策略是全棧,不是單點最強
面對「Google落後於OpenAI和Anthropic」的質疑,Doshi回應Google並不打算放棄Frontier這條賽道,Gemini 4 Argonne本身就在衝前沿。但她強調Google真正的優勢是全棧——從硬件到模型,再到覆蓋10億級用戶的終端產品(她提到公司有14款產品月活過10億),這讓Google可以在成本與質量的帕累托曲線上,為搜索用戶、工程師、網絡安全防禦者等不同群體分別提供合適的模型,而不只是追求一個「最強模型」的敘事。
— Tulsee Doshi用AI監控AI的思維鏈判斷是否對齊
談AI安全,Doshi沒有停在「我們很謹慎」這種空話上,而是具體講了Google在做什麼:給模型部署監控器,實時讀取模型的chain of thought,判斷它的行為是否偏離了被賦予的指令,一旦發現對齊問題就介入。她同時指出安全不只是防止AI作惡,AI本身也在加固防禦——Google與已被收購的Wiz合作「Scan for Good」項目,曾幫一家醫院系統發現並修補了一個安全漏洞,這類案例是她判斷「這件事在朝好的方向走」的依據之一。
— Tulsee Doshi人人都能建東西時,審美是稀缺品
當人人都能靠AI輕鬆把東西做出來,Doshi認為PM的價值反而上升了:門檻消失後,能從一堆能做的東西里挑出「值得做」的那一個,成了真正的稀缺能力。她特別強調Google這種同時推進大量產品線的公司,還需要有人把混亂拉回秩序——建造速度一旦快過協調能力,混亂本身就會變成代價,而「把噪音裡的信號挑出來、讓大家對齊到同一個方向」正是PM重新被需要的原因。
— Tulsee Doshi招PM越來越看重懂模型的vibes
Doshi說現在招研究類PM,越來越看重一種說不清道不明的能力——對模型vibes的判斷力:這個人是不是每天都在真實地玩這些模型、有沒有自己獨特的場景去壓測模型、能不能自己扎進數據裡搭一個eval。她給出的入門建議很具體:不要一上來就想建大規模benchmark,先從5個prompt開始,甚至只用20個prompt就能在兩個模型之間看出明顯差異,先讓自己對「什麼是好」形成清晰判斷,再考慮規模化。
— Tulsee Doshi膚色評測標準曾只有6級,還選錯了
Doshi在負責任AI團隊工作六年裡推動的一項具體工作,是發現Google早期評測膚色代表性用的Fitzpatrick量表只有6級,而且這套量表最初是為醫療用途設計的,結果天然偏向淺膚色、沒法代表全球人群的膚色分布。團隊後來找到哈佛教授Monk基於多年人類學訪談建立的10級膚色量表,把它換進評測體系,並用來改進Pixel相機和圖像生成等產品裡膚色的呈現方式。
— Tulsee Doshi建得比模型現在的能力更超前一點
Doshi提出「60-20-20」框架回答「該為多超前的AI能力做產品」:60%的功能應該現在就能穩定跑通,做出一個真實可用的原型;20%的功能不完美但夠用,而且能看到模型在不久的將來會補上這個缺口;剩下的20%是「我看到一點光亮,如果能實現會是驚豔體驗」的方向。這比「提前三個月建」這種籠統建議更可操作,因為她自己做模型都很難預測三個月後模型會到哪。
— Tulsee Doshi燒的是小時數,還是無意義的消耗
面對AI時代「能做更多事,所以要做更多事」的職業倦怠焦慮,Doshi判斷工作時長本身不是倦怠的根源,真正導致倦怠的是兩件事——一是組織內部的混亂和反覆(churn and chaos),二是做自己不享受、感覺像grunt work的工作。她的期待是,如果用對了AI工具,它應該先去清除那些讓人厭煩的苦活,把時間騰給更有創造性、更有意義的部分,倦怠反而可能被這些工具緩解,而不是加劇。
— Tulsee Doshi原話 · 已逐字校驗
it's kind of like, like Snape's potions class, right? So you can put all the ingredients in and you should be thoughtful about what you expect. But you also have to expect that there will be a little bit of magic and that that magic is going to be surprising and that magic is going to be unique.
這有點像斯內普的魔藥課:你把所有原料都放進去,也該對結果有所預期,但你同樣要預料到會出現一點點魔法,而那魔法會是出人意料的、獨一無二的。
Tulsee Doshi3:03
deploying monitors that can monitor the model's chain of thought and actually identify whether the model is misaligned with its directed actions or whether it is aligned and then being able to intervene appropriately
部署能監控模型思維鏈的監控器,實際判斷模型是否偏離了被賦予的指令、是否保持對齊,然後能夠適當地介入干預。
Tulsee Doshi10:10
someone who can bring people together and drive consensus and turn chaos into order. I think becomes actually really important because in the absence of that and the ability to build as quickly as we now can, speed can basically introduce chaos
能把人聚到一起、推動達成共識、把混亂變成秩序的人,我認為變得非常重要,因為一旦沒有這種能力,而我們又能這麼快地去建造,速度本身就會製造混亂。
Tulsee Doshi20:19
Realistically, six skin tones cannot capture the diversity of skin tones in the world. Not only that, it was actually built for an entirely different purpose. It was built for like health care purposes.
實際上,六種膚色根本沒法捕捉世界上膚色的多樣性。不僅如此,它最初其實是為完全不同的用途設計的,是為醫療目的而建的。
Tulsee Doshi26:34
what you want to do is actually build such that like 60% of what you've built works now. And your prototype is at least functional, right? Then there's a set of maybe the 20% where you're like, it's not perfect, but it like works well enough.
你真正要做的,是讓你建的東西里有60%現在就能跑通,你的原型至少是能用的。然後還有大概20%,不完美,但夠用了。
Tulsee Doshi33:40
I think burnout comes not just from working a lot. It comes from, I think, two places. I think it comes, one, from when you feel like there is churn and chaos. I think that introduces burnout. I think the other thing that introduces burnout is work that you don't enjoy.
我認為職業倦怠不只是來自工作量大。它來自兩個地方:一是當你感覺到組織內部有反覆和混亂的時候,這會帶來倦怠;二是做你不享受的工作,這也會帶來倦怠。
Tulsee Doshi45:56
What you should be providing is the insight. What the model should be providing is the data.
你該提供的是洞察,模型該提供的是數據。
Tulsee Doshi48:58
數字與實體
| 用戶超10億的Google產品數 | 14個 | 7:06 |
| Fitzpatrick膚色量表級數 | 6級 | 26:34 |
| Monk膚色量表級數 | 10級 | 27:36 |
| Doshi此前任職Responsible AI產品負責人年限 | 6年 | 9:09 |
| Stanford flash teams研究距今時間 | 12年前 | 30:39 |
| Doshi所說團隊當前工作強度 | 150% | 39:46 |
術語
- harness模型外殼/harness
- 包裹模型的系統提示、工具、技能和上下文,構成模型實際運行的環境。
- Pareto curve of cost to quality成本-質量帕累托曲線
- 不同模型在成本和質量上的權衡曲線,用來為不同場景匹配不同大小的模型。
- chain of thought monitoring思維鏈監控
- 實時讀取模型的推理過程,判斷其行為是否偏離指令、是否對齊。
- flash teams閃電團隊
- 為完成特定任務臨時組建、高效協作、完成後迅速解散的工作團隊。
- Monk skin tone scaleMonk膚色量表
- 哈佛教授Monk基於人類學調研建立的10級膚色量表,比早期6級量表更能代表全球膚色分布。
- Fitzpatrick scaleFitzpatrick膚色量表
- 最初為醫療用途設計的6級膚色分類標準,曾被早期AI模型誤用作膚色評測基準。
收聽指南
做模型evals、關心Google AI戰略,或想知道AI時代PM該補什麼具體技能的產品經理和從業者。
最後約51:03開始的閃電問答(書單、電影、個人愛好)信息密度低,可跳過。