教育产品没人做随机对照试验,因为验证了也不赚钱
学校采购教材靠销售代表讲故事打动老师和学区领导,没有监管要求证明效果,证明一款产品比另一款好并不会带来利润,所以没人愿意出钱去验证。
原视频在 YouTube 上放不出来,用音频听:
核心论点 · 时间戳为按文稿位置估算
教育没有随机对照试验,因为不赚钱
Jason Yeatman 指出,学校里用的教材和干预方案主要靠销售代表推销给老师和学区领导,没有任何监管要求证明其效果,也没有系统性地比较多种教学法选出最优解。他直言,做一次大规模随机对照试验耗资巨大,而如果结果不能带来利润,没有公司愿意出钱验证自己的产品是否真的有效,这不是老师或学校的错,而是整个系统缺乏把科学证据引入采购环节的机制。
— Jason Yeatman学者和家长的利益根本不一致
Karen Parker 谈到跨机构合作难的根源是激励错位:学术界看重首发论文和第一作者身份,同时也关心整个试验里所有孩子的结果;而作为家长,关心的只是自己孩子的情况。她提到物理学三十年前就建立了「工作组」模式,用详细贡献说明取代作者排序之争,认为神经科学至今没有解决大团队协作该如何公平分配署名的问题。
— Karen Parker职业阶段决定了你敢不敢真合作
Karen Parker 说,年轻科研人员被迫追求第一作者,晋升阶段又要争最后作者,只有拿到终身教职、当上正教授之后,署名压力才会消失,这时候才能做职业生涯里最好的跨学科合作。整个学术晋升体系在前半段其实抑制协作,除非改变激励结构,否则受训者很难真正放开手脚合作。
— Karen Parker先给学校有用的工具,科研关系才谈得上
Jason Yeatman 解释他和学校合作的打法:不是一上来就要求老师腾出时间配合自己的研究问题,而是先提供一个马上能用、解决学校实际需求的工具,以直接服务模式切入,再花时间支持落地实施。等信任建立起来之后,学校才会愿意开放给科研问题,很多研究生和博士后反而被学区提出的真实问题(比如英语非母语学生的测评解读)重塑了自己的研究方向。
— Jason Yeatman自闭症儿童研究,连进扫描仪都很难
Karen Parker 指出研究自闭症谱系儿童要面对普通儿童研究里不会遇到的难题:很多孩子因为感官敏感根本没法进脑成像扫描仪,需要先和家庭做大量前期沟通。更棘手的是年龄跨度巨大(三岁到十七岁)又要用同一套结局指标衡量,而自闭症人群本身异质性极高,智力障碍和智商150的孩子可能同时出现在同一个队列里,这让临床试验设计变得异常复杂。
— Karen Parker登记库把招募周期从数年压到六周
Karen Parker 提到 Simons Foundation 旗下的 Spark 项目在全美设立了自闭症家庭招募点,过去招募几百人可能要花五百万美元,现在只要发一份基于调查的问卷,六周内就能收到上千份回应,还能直接按临床试验的入组标准精准推送给合适的家庭,大幅提高了研究的推进速度。
— Karen Parker120万学生的测评平台变成了现成队列
Jason Yeatman 说他们的阅读测评平台已经有约120万学生在近3000所学校里日常使用,相当于积累了持续的纵向数据。他希望把这套系统变成基础设施,让下一代学生和博士后不必从零建队列,而是直接提出最该研究的问题,比如想研究高中生,很可能这些孩子从小学起的数据就已经在手上了。
— Jason YeatmanAI编的参考文献,格式却天衣无缝
Karen Parker 讲了一个真实教训:一位同事凌晨两点用AI帮写基金申请,查出的参考文献连期刊卷号页码都齐全,结果全是AI编造的幻觉文献。她的结论是AI可以是研究利器,但不能替代思考。Jason Yeatman则提到自己和女儿用开源数学课程加AI编程做了个互动数学网站,但作为研究者他更担心教育领域AI发展太快,却完全没有建立起评估其效果的机制。
原话 · 已逐字校验
Why would you run a large RCT to show something is better if that's not going to drive profit?
如果证明一个东西更好并不能带来利润,为什么要花钱做一次大规模随机对照试验?
Jason Yeatman7:14
As we're working our way up the academic ranks, you want to show that you're last author.
在学术晋升的路上,你需要证明自己是最后作者。
Karen Parker12:10
we're all writing grants at 2:00 in the morning, and these were all hallucinations, but they had had all of the authors that had the issue.
我们都是凌晨两点在写基金申请,那些引用全是幻觉文献,但它们居然连所有作者信息都齐全。
Karen Parker25:36
it's like the dog has to wag the tail, not the tail wag the dog.
应该是狗摇尾巴,而不是尾巴摇狗。
Karen Parker26:18
I think the magic happens at the interdisciplinary boundaries.
我认为魔法就发生在跨学科的边界上。
Karen Parker28:55
Meeting the needs of every learner.
满足每一个学习者的需求。
Jason Yeatman29:17
数字与实体
| 阅读测评平台学生数 | 约120万人 | 23:10 |
| 研究实践伙伴关系覆盖学校数 | 近3000所 | 18:40 |
| 改革前自闭症RCT单次招募成本 | 约500万美元 | 21:57 |
| Spark问卷调查响应速度 | 六周内收到数千份回应 | 22:53 |
术语
- RCT随机对照试验
- 比较干预组与对照组效果的严谨试验设计,常被视为证据等级最高的方法。
- SparkSpark(自闭症研究登记库)
- Simons Foundation建立的全美自闭症家庭登记系统,用于快速招募研究参与者。
收听指南
关心教育科技循证机制、学术成果转化、自闭症研究方法论的创业者、教育产品人和科研工作者。
开场主持人介绍和结尾快问快答环节信息量较低,可跳过。