AI最大的瓶颈不是智商,是爱因斯坦与憨豆先生之间的不稳定切换
TypeSafe创始人说,企业不敢把高风险决策交给AI,不是因为模型不够聪明,而是因为它95%的时间是爱因斯坦,5%的时间是憨豆先生,期望值算不过账。
原视频在 YouTube 上放不出来,用音频听:
核心论点 · 点时间戳可跳到原声
可靠性不足让AI自动化的账算不过来
Diogo提出一个非正式但被广泛认同的说法:现有大模型的问题不是整体智商不够,而是方差太大——你有95%的时间得到爱因斯坦,5%的时间得到憨豆先生。在期望值计算上,这种不稳定直接让企业放弃自动化,哪怕模型能解决千禧年数学难题,也搞不定更简单的会计工作。他强调这不是模型「不礼貌」或「说脏话」的问题,chat GPT从不会突然失控骂人,但它会在文本内部做出错误的决策判断,而这正是大厂没有针对性优化的地方。
— DiogoGPT-4.5证明算力堆砌已经到头
Diogo提出「最苦涩的教训」:做对的任务比数据重要,数据比算力重要,算力比算法重要。他指出如果按推理算力定价,GPT-4.5仍是按token成本计算史上最大的模型,但商业上并不成功——这正是打破「纯靠scale通向AGI」叙事的证据。他引用Dwarkesh最近一条推文称数据对模型效果的影响比算力大很多倍,这并非AI特有的新发现,而是机器学习领域一直都知道的常识,只是算力scaling的那几年是个例外。
— Diogo大厂不是不能抄,是压根不在乎可靠性
面对「OpenAI为什么不直接抄Jev」的质疑,Diogo的回答很直接:大厂根本不知道自己有多不在乎可靠性。他们的组织过去围绕月活用户优化,这催生了谄媚式(sycophantic)的对话风格,而现在则在围绕编程智能体的类月活指标优化。他的判断是:Anthropic的模型就是最好的,哪怕在基准测试上被中国模型打平——因为整个决策模型(system one)这个子领域几乎全在刷榜,没人真正信这些基准,这反而给了把可靠性做扎实的公司议价权。
— Diogo护城河不在训练自己的模型,而在工程本身
针对Harvey、Cognition这类自训练专属模型的公司,Diogo认为这更多是叙事需要——如果不说自己拥有专属智能,看起来就只是大模型上一层很薄的壳。他反驳「拥有专属智能」应该来自训练自己的模型,而应该来自围绕大模型写的软件和工程投入:真正有价值的是提前投入精力把问题理解透、自动化掉,让人类不用再重复做这件事。他直言Harvey当年想做大项目的全自动化没做成,最后回退成了「律师的副驾驶」。
— Diogo一线实验室说真话,二线实验室骗自己
被问到谁在基准测试上撒谎最多时,Diogo给出一个分层判断:顶级实验室(OpenAI、Anthropic)有动机说真话,因为他们不需要作弊也能站在顶端;二线实验室有动机骗自己,因为他们想相信自己能变成一线,内部压力巨大却又不敢公开承认在刷榜(Llama 4就是刷榜刷得太明显翻车的案例);而争夺「安慰奖」的公司,比如美国开源模型领域,则是赤裸裸的刷榜,因为反正没人真正用这些模型,没人会拆穿。他认为决策模型(system one)这个领域刷榜情况比以上都更糟,因为连「什么是好表现」都没有共识。
— Diogo泡沫破裂会是需求侧的事,不是供给侧
Diogo承认自己一直认为AI存在泡沫,因此为泡沫破裂的可能性持续做准备。他判断这次破裂不会来自GPU供给短缺,而会来自需求侧冲击:很多企业花钱买AI的决策背后,对AI实际能力的判断是失准且偏高估的,这种过度承诺、交付不足的落差一旦被集中戳破,需求可能很快收缩。他同时承认现实更复杂——有些公司因为裁员押注AI而被反噬,但也有公司理性下注、确实从AI身上拿到了价值,这两种情况同时存在。
— Diogo融资现场:没有Deck,也不要更高估值
Diogo描述这轮融资几乎全是inbound,他们甚至直接告诉VC自己没时间做Deck,反过来让VC讲市场信号。他说公司做决定时明确拒绝「估值最大化」和复杂条款结构(cock tranche),理由是公司本身已经盈利、账上现金在增长,根本不需要太多钱——真正需要的是能一起打硬仗的盟友。即便有人表示愿意按3倍估值投钱,他们也没有接受,理由很直白:「那是泡沫,那是胡扯。」
— Diogo不招OpenAI的研究员,因为他们不做「对的任务」
Diogo解释公司刻意不从OpenAI挖研究员:能进OpenAI本身就带有一种「喝了Kool-Aid」式的选择偏差,而且那里的研究员天生偏好算法和scaling、讨厌做数据,数据在大部分实验室地位很低。他也补充,哪怕OpenAI内部真有少数几个人真正关心「对的任务」,他也不会挖——因为那些人显然应该继续钻研自己擅长的方向(比如把文字转图像做成一整个领域),硬塞进另一个任务里是浪费。他同时提到数据团队的招聘是公司目前最难的部分,远比薪资竞争难解决。
— Diogo原话 · 已逐字校验
you get Einstein like maybe 95% of the time and Mr. Bean the other 5%
你大概有95%的时间得到爱因斯坦,剩下5%的时间得到的是憨豆先生。
Diogo6:10
Anthropic models are just the best, even if the Chinese models match it in benchmarks.
Anthropic的模型就是最好的,即便中国模型在基准测试上能打平。
Diogo22:40
ai is so clearly awesome yet software itself hasn't changed
AI明显已经如此惊艳,但软件本身却几乎没有变化。
Diogo28:50
benchmarks are total bullshit all benchmarks are bad
基准测试完全是胡扯,所有基准测试都不靠谱。
Diogo43:19
I believe that AI has been a bubble for a while. So I would like to keep planning for an eventuality of bubble burst.
我一直认为AI存在泡沫,所以我希望持续为泡沫破裂的可能性做准备。
Diogo49:39
What we need is allies to fight the largest companies in the world.
我们需要的是能一起对抗世界上最大那些公司的盟友。
Diogo57:56
We don't need the money or the valuation.
我们不需要那笔钱,也不需要那个估值。
Diogo58:56
数字与实体
| Jev收入到1亿美元用时 | 七天 | 1:00 |
| TypeSafe估值 | 75亿美元 | 1:00 |
| 本轮收到term sheet数量 | 28份 | 56:53 |
| Jev使用覆盖范围 | 财富500强公司中的三分之一 | 1:00 |
术语
- Jevons paradox杰文斯悖论
- 效率提升让单位成本下降,反而使总消耗量大幅增加的现象
- RLHF人类反馈强化学习
- 根据人类对模型输出的偏好打分来训练模型
- RLVR可验证奖励强化学习
- 根据可自动验证的结果(如单元测试)给模型打分训练
收听指南
关注企业AI落地可靠性、模型公司护城河争议,以及顶级AI公司融资与招聘逻辑的创业者与投资人。
开头和结尾的广告植入(Blitzy、Flex、Vanta)可以跳过。