Interconnects
Nathan Lambert 的后训练与开源模型分析,技术判断少有水分
本站已深读3 / 128 集
更新节奏约 7.0 天一集
最新一集2026-08-26
分类AI / 技术
优先级T1
12:32Interconnects
0812
AI写作停滞:长文非虚构是模型能力的试金石
模型在长文非虚构写作上进步缓慢,暴露了其组织知识能力的缺陷,这比代码和数学的进步更值得警惕,因为它关乎AI能否解决开放科学问题。
9 要点
7 金句
AI写作非虚构
49:05Interconnects
0722
开源追上前沿不是靠蒸馏,因为没人知道蒸馏怎么才管用
Nathan Lambert 逐条拆掉「中国开源模型只是蒸馏出来的」这个叙事:RL 阶段用 Fable/GPT 5.6 当裁判在成本上根本跑不通,而即便白送最强模型的 reasoning traces,学界至今不知道怎么把它变成能力提升。
8 要点
5 金句
开源模型蒸馏
20:03Interconnects
0720
开闭源差距只剩 3-5 个月,这层时间差就是全部的安全边际
Kimi K3 把开源落后闭源的差距从争论中的 6-9 个月压到 3-5 个月,而这层时间差正是唯一的风险缓冲——重手监管开源只会推迟不可避免的事,同时把缓冲本身作废掉。
8 要点
5 金句
开源模型中美竞争