教育產品沒人做隨機對照試驗,因為驗證了也不賺錢
學校採購教材靠銷售代表講故事打動老師和學區領導,沒有監管要求證明效果,證明一款產品比另一款好並不會帶來利潤,所以沒人願意出錢去驗證。
原視頻在 YouTube 上放不出來,用音頻聽:
核心論點 · 時間戳為按文稿位置估算
教育沒有隨機對照試驗,因為不賺錢
Jason Yeatman 指出,學校裡用的教材和干預方案主要靠銷售代表推銷給老師和學區領導,沒有任何監管要求證明其效果,也沒有系統性地比較多種教學法選出最優解。他直言,做一次大規模隨機對照試驗耗資巨大,而如果結果不能帶來利潤,沒有公司願意出錢驗證自己的產品是否真的有效,這不是老師或學校的錯,而是整個系統缺乏把科學證據引入採購環節的機制。
— Jason Yeatman學者和家長的利益根本不一致
Karen Parker 談到跨機構合作難的根源是激勵錯位:學術界看重首發論文和第一作者身份,同時也關心整個試驗裡所有孩子的結果;而作為家長,關心的只是自己孩子的情況。她提到物理學三十年前就建立了「工作組」模式,用詳細貢獻說明取代作者排序之爭,認為神經科學至今沒有解決大團隊協作該如何公平分配署名的問題。
— Karen Parker職業階段決定了你敢不敢真合作
Karen Parker 說,年輕科研人員被迫追求第一作者,晉升階段又要爭最後作者,只有拿到終身教職、當上正教授之後,署名壓力才會消失,這時候才能做職業生涯裡最好的跨學科合作。整個學術晉升體系在前半段其實抑制協作,除非改變激勵結構,否則受訓者很難真正放開手腳合作。
— Karen Parker先給學校有用的工具,科研關係才談得上
Jason Yeatman 解釋他和學校合作的打法:不是一上來就要求老師騰出時間配合自己的研究問題,而是先提供一個馬上能用、解決學校實際需求的工具,以直接服務模式切入,再花時間支持落地實施。等信任建立起來之後,學校才會願意開放給科研問題,很多研究生和博士後反而被學區提出的真實問題(比如英語非母語學生的測評解讀)重塑了自己的研究方向。
— Jason Yeatman自閉症兒童研究,連進掃描儀都很難
Karen Parker 指出研究自閉症譜系兒童要面對普通兒童研究裡不會遇到的難題:很多孩子因為感官敏感根本沒法進腦成像掃描儀,需要先和家庭做大量前期溝通。更棘手的是年齡跨度巨大(三歲到十七歲)又要用同一套結局指標衡量,而自閉症人群本身異質性極高,智力障礙和智商150的孩子可能同時出現在同一個隊列裡,這讓臨床試驗設計變得異常複雜。
— Karen Parker登記庫把招募週期從數年壓到六週
Karen Parker 提到 Simons Foundation 旗下的 Spark 項目在全美設立了自閉症家庭招募點,過去招募幾百人可能要花五百萬美元,現在只要發一份基於調查的問卷,六週內就能收到上千份回應,還能直接按臨床試驗的入組標準精準推送給合適的家庭,大幅提高了研究的推進速度。
— Karen Parker120萬學生的測評平臺變成了現成隊列
Jason Yeatman 說他們的閱讀測評平臺已經有約120萬學生在近3000所學校裡日常使用,相當於積累了持續的縱向數據。他希望把這套系統變成基礎設施,讓下一代學生和博士後不必從零建隊列,而是直接提出最該研究的問題,比如想研究高中生,很可能這些孩子從小學起的數據就已經在手上了。
— Jason YeatmanAI編的參考文獻,格式卻天衣無縫
Karen Parker 講了一個真實教訓:一位同事凌晨兩點用AI幫寫基金申請,查出的參考文獻連期刊卷號頁碼都齊全,結果全是AI編造的幻覺文獻。她的結論是AI可以是研究利器,但不能替代思考。Jason Yeatman則提到自己和女兒用開源數學課程加AI編程做了個互動數學網站,但作為研究者他更擔心教育領域AI發展太快,卻完全沒有建立起評估其效果的機制。
原話 · 已逐字校驗
Why would you run a large RCT to show something is better if that's not going to drive profit?
如果證明一個東西更好並不能帶來利潤,為什麼要花錢做一次大規模隨機對照試驗?
Jason Yeatman7:14
As we're working our way up the academic ranks, you want to show that you're last author.
在學術晉升的路上,你需要證明自己是最後作者。
Karen Parker12:10
we're all writing grants at 2:00 in the morning, and these were all hallucinations, but they had had all of the authors that had the issue.
我們都是凌晨兩點在寫基金申請,那些引用全是幻覺文獻,但它們居然連所有作者信息都齊全。
Karen Parker25:36
it's like the dog has to wag the tail, not the tail wag the dog.
應該是狗搖尾巴,而不是尾巴搖狗。
Karen Parker26:18
I think the magic happens at the interdisciplinary boundaries.
我認為魔法就發生在跨學科的邊界上。
Karen Parker28:55
Meeting the needs of every learner.
滿足每一個學習者的需求。
Jason Yeatman29:17
數字與實體
| 閱讀測評平臺學生數 | 約120萬人 | 23:10 |
| 研究實踐夥伴關係覆蓋學校數 | 近3000所 | 18:40 |
| 改革前自閉症RCT單次招募成本 | 約500萬美元 | 21:57 |
| Spark問卷調查響應速度 | 六週內收到數千份回應 | 22:53 |
術語
- RCT隨機對照試驗
- 比較干預組與對照組效果的嚴謹試驗設計,常被視為證據等級最高的方法。
- SparkSpark(自閉症研究登記庫)
- Simons Foundation建立的全美自閉症家庭登記系統,用於快速招募研究參與者。
收聽指南
關心教育科技循證機制、學術成果轉化、自閉症研究方法論的創業者、教育產品人和科研工作者。
開場主持人介紹和結尾快問快答環節信息量較低,可跳過。