模型公司终将消失,产品公司才刚开始
齐帆超认为模型本身没法直接产生价值,将来不存在模型公司;他融了近4亿却主动放弃训更大模型,转而解决大模型输出不确定性这个产品落地的最大卡点。
原视频在 YouTube 上放不出来,用音频听:
核心论点 · 点时间戳可跳到原声
训更大模型的价值在23年下半年变小
23年上半年齐帆超还在讲技术差异化,比如在 pre-train 阶段提前增加指令遵循能力、处理长结构化内容。但到23年下半年八九月份,他发现所有玩家都涌进同一赛道,原来想到的差异化要么别人也看到了,要么别人已经在做,再想出新差异化越来越难。更关键的是,他判断直接训大模型对达成产品目标的增益在变小,于是做了战略转型:转向那些光靠现成大模型、即使不断 scale 也解决不好的问题。
— 齐帆超将来不存在模型公司
齐帆超不认可「模型即产品」,也不认为 AGI 会在三五年内到来。他的判断是:模型本身没法直接产生价值,所以模型公司必须找到特定场景或产品方向来转换成价值,最终会变成产品公司。他用理想汽车做类比——纯电技术会一直进步,但理想选择增程式混动,在电池基础上加油箱和发电机做备电,部分解决续航焦虑,产品化速度就能更快,最终也赢得用户认可。
— 齐帆超把大模型的犯错概率压到有限范围
齐帆超认为大模型最大的挑战是它是概率模型,加上需要多样性,一体两面就是幻觉和意想不到的错误。他的解法是把大模型控制在相对有限的空间内:对输入做前向操作,用更确定性的方式缩小发挥空间;对输出做后向操作,用知识库等手段校验结果。他提到陆奇也认为模型鲁棒性、稳定性不足是阻碍大模型产品落地最重要的原因之一。他不认同光靠 RAG 能解决幻觉——AI 搜索核心就是 RAG,但回答仍可能搜到 A 却答出 B。
— 齐帆超内容只是信息的载体
齐帆超把信息定义为「把你的不确定性降低」。同一件事可以通过文章、音频、视频、朋友圈等不同内容载体获取,消费完得到的东西是一样的。由此他判断:过去所谓的信息分发,做的其实是内容分发,最小颗粒度是一篇文章、一个视频。但对用户来说,消费完整内容并不一定是获取信息最高效的方式,因为里面必然有低价值时间。他的产品思路是把内容解构成最小信息单元,再按用户兴趣重组成新内容。
— 齐帆超内容链路的重心一直往消费者移
齐帆超回溯内容产业:互联网之前生产端话语权强,创作者社会地位高;互联网和移动互联网之后自媒体涌现,创作门槛降低,分发平台话语权变强;他判断将来内容消费者的话语权会更强,因为 AI 让内容供给越来越过剩、生产成本一直降低。他甚至认为即使自己不做,这个变化也一定会发生,是底层社会发展规律。对创作者,他认为上游源头信息和内容仍然非常有价值,但交付的东西会变,可能提供的是用于 AI 加工的语料。
— 齐帆超创业像航海,没有航海图
齐帆超说,当你没有航海图时,难度和不确定性比有航海图时下降的可能是好几个数量级。他拿哥伦布打比方:哥伦布相信沿大西洋继续往前走能找到印度,但没人验证,只是心里的信念,过程中有大量挑战,最后他也没到印度,到的是北美。齐帆超说创业尤其是想做差异化、别人没做过的事情时,没法按图索骥,只能相信自己内心的信念,遇到什么问题解决什么问题。
— 齐帆超我干过一件很蠢的事
齐帆超自述:他很 J,愿意把所有事变得 organized,有一天把公司所有人的邮箱名改成统一格式,后面加编号。事后看收益没有成本高——不是技术成本,是大家的切换成本高,原来注册的账号都会受影响。他由此引申:世界的熵增是必然趋势,想降低熵就要付出成本,所以要考虑 ROI 是不是正的,为降低某些环节的熵付出的成本是不是值得。
— 齐帆超模型的不确定性会一层层影响组织
齐帆超认为 AI 公司组织形态和互联网公司最大的不同来自底层不确定性:互联网技术是确定性的,目标节奏更明确,分工协作难度低;但大模型输出不确定性非常高,连算法工程师都说不清能不能做成、什么时候做成。这会一层层影响组织怎么定目标、不同团队怎么配合、信息能不能更快拉齐。他的结论是 AI 公司的信息传递效率和一致度必须更高,个体要覆盖的链路要更长,因为只知道自己环节很难理解上下游对自己的影响。
— 齐帆超原话 · 已逐字校验
我认为可能将来是不存在模型系产品 可能也不存在所谓的模型公司的 因为模型本身它是没法直接产生价值的
我认为可能将来是不存在模型系产品,可能也不存在所谓的模型公司的,因为模型本身它是没法直接产生价值的。
齐帆超0:00
我觉得这句话既对也不对 我可以说模型永远都在变好 比如说它是以多长时间的尺度 几年三四年 还是十年八年 还是几十年的尺度
我觉得这句话既对也不对。我可以说模型永远都在变好,比如说它是以多长时间的尺度——几年三四年,还是十年八年,还是几十年的尺度。
齐帆超30:24
内容只是信息的载体 内容是信息的载体 对 你怎么定义信息 信息其实就是把你的 不确定性降低
内容只是信息的载体。内容就是信息的载体。对。你怎么定义信息?信息其实就是把你的不确定性降低。
齐帆超44:52
就是当你没有一个航海图的时候 你的难度和不确定性 比你有了一个航海图 尤其是有人告诉你 怎么总能到达一个彼岸的时候 这个不确定性下降的 可能是你难以想象的 是有好几个数量级的下降的
就是当你没有一个航海图的时候,你的难度和不确定性,比你有了一个航海图、尤其是有人告诉你怎么能到达一个彼岸的时候,这个不确定性下降的可能是你难以想象的,是有好几个数量级的下降的。
齐帆超1:13:02
我是底层相信说 只要这个产品真的给用户带来了不可替代的价值的话 它是一定能够去通过各种方式赚到钱的
我是底层相信说,只要这个产品真的给用户带来了不可替代的价值的话,它是一定能够去通过各种方式赚到钱的。
齐帆超1:39:19
数字与实体
| 公司估值 | 12亿元人民币 | 1:00 |
| 公司创立时间 | 2022年3月17日 | 1:00 |
| 融资轮次 | A加轮 | 1:00 |
| 创始人年龄 | 94年生,上个月刚满30岁 | 1:00 |
| 21年下半年到22年中见投资人数量 | 不下100个投资机构 | 17:19 |
| 奇迹创谈路演后聊过的投资人 | 陆续聊了六七十个 | 17:19 |
| 当时想训的模型规模 | 10B到20B量级 | 18:19 |
| 训模型预估投入 | 千万级 | 18:19 |
| 公司人数 | 60多人 | 1:22:07 |
术语
- conditioned generation条件生成
- 给定现成内容或信息,从中生成符合指定输入的内容。
- RAG检索增强生成
- 先检索相关文档再让模型基于文档回答,可缓解知识更新问题。
- PMF产品市场契合
- 产品真正被市场接受、用户愿意持续使用的状态。
- MVP最小可行产品
- 用最少功能验证产品方向的第一版产品。
- Foundation Model基础模型
- Stanford 提出的概念,指大规模预训练后可迁移到多种任务的模型。
收听指南
关注 AI 应用层创业、内容分发产品、以及大模型公司终局判断的创业者和投资人。
1:23:18 到 1:27:11 关于90后CEO性格、画饼、信息差管理的问答,信息密度较低。