17歲AI原住民：學數學的理由，變成了向大學證明能吃苦
AI 出現後，他學數學的理由退化成向大學證明自己能吃苦：原來能看到的大學、讀博、推進數學那條路變窄了，身邊想做航天的同學也在失去向上的動力。
原視頻在 YouTube 上放不出來，用音頻聽：
核心論點 · 點時間戳可跳到原聲
預訓練像魔幻，後訓練像塑身體
他做預訓練的理由不是論文，是手感：後訓練更像塑造一個身體，預訓練是把你那個具體的材料變得更好、來承受之後的塑造，他說這件事有點 magical。代價是真的燒錢——這篇論文他一共燒了三萬塊錢，論文裡最大的模型只有 0.05B；要擴大規模，他算出來差不多還要六千塊。那天晚上他特別緊張，在想要不要花這筆錢，因為即使論文很好，投頂會也可能被拒，錢就白花了。最後是哥哥和父母都支持他，他才邁出這一步，而擴大規模這一步做成了。
— 蘇廷浩三個模型沒 save，1500 白白燒掉
他形容訓練是一個昂貴的遊戲。有一次他忘了訓練會定期存 checkpoint，同時訓三個模型，三個都沒 save，參數也沒挑好，丟掉 1500。他說自己都哭了，特別特別傷心，反覆想為什麼之前不把那段再看一遍。這段沒有任何高深的東西：一個高二學生踩的正是所有做預訓練的人最日常的坑——錢花在算力上，一次低級失誤就歸零。他媽媽寬慰他說交了學費就長記性，他之後也沒再犯這種錯誤。他也承認自己訓練代碼很 messy，只有他一個人會用，訓練效率有很大問題。
— 蘇廷浩他把 attention 的寬度切成兩半
論文的起點是 Value Residual Learning：把第一層的 attention value 加到後面幾層做殘差。他發現低層的 value 在做兩件事——本層使用，以及加到後面層做殘差——於是把第一層的 attention projection 寬度翻倍，切一半留給本層、另一半專做向後的殘差，再加上 RMSNorm，並把做法從 value 擴展到 key 和 query，效果更好。他知道這跟 Kimi 的 attention residual 看起來很像，但他說是完全兩種思路：Kimi 殘差的是 hidden state，他殘差的是 attention projection。他自己也清楚哪條更 work——Kimi 那條路已經被 2.5T 的規模證明，他的是小規模結果。
— 蘇廷浩GPT 框架只要高中數學，難在直覺
他的判斷是，現在 Transformer 和 GPT 的大框架並不需要多高深的數學或者概率思維，都是矩陣相乘，高中數學差不多就能理解；真正要花時間的是培養直覺。例子就是他自己：一年多前看 Andrej Karpathy 那套二十來小時的視頻，只能跟著他寫什麼自己寫什麼，完全沒有理解，然後這些東西在腦子裡沉澱了半年到一年，才突然理解一些。所以他的 aha moment 不是學會一個公式，而是某天突然想通 QKV——Q 代表我這個字想尋找什麼，K 代表我這個字是什麼、別人可以用它來找我，V 是你找了我之後具體取走什麼信息。
— 蘇廷浩一生中前 20 開心的時刻在下棋
ICML 第一天晚上七點到九點有個象棋社交活動，房間裡都是棋盤，你找個人就能跟你下。他把這稱為自己一生中前二十最開心的時候：走過去問一句你的研究方向是什麼，一邊下棋一邊聊 AI，幾天裡見了很多從各地來的人，還能繼續下棋。他在那幾天還做了一件很他自己的事——遇到每個人都會問一句 AI 會不會導致人類滅絕，那段時間問了大概 30 到 35 個人。他也說這次從韓國回來以後自己變了，原來的性格偏內向，現在偏外向一些。
— 蘇廷浩應用公司掙得多，但只能聽上游
他的分工說得很直白：模型公司負責把模型做好，應用公司最終只是在上面加點東西，改不了具體的模型，也是靠模型來掙錢，所以只能聽模型公司。但他同時給出一個反直覺的判斷——現在來看，應用公司比模型公司掙更多的錢，因為現在好像除了那幾家，模型公司都在燒錢、都沒有利潤。而他把終局推得更狠：如果真有公司做出 AGI，AGI 可以自己寫應用軟件，直接把應用公司替掉。他也說，每個想做 AGI 的公司都必須說自己要做 AGI，這樣才能融資，最終目標還是掙錢。
— 蘇廷浩學數學只剩向大學證明能吃苦
他把 AI 帶來的變化講得很具體：以前學物理化學，你能看到自己比一部分人好，能一路看到大學、讀博、推進這門學科；現在即使沒學過的人，也能一鍵問 AI 得到一個比你更好的回答。於是他的動機變了——學數學不再是為了這門科目，而是向大學證明自己是一個能吃苦、能學習的人。他身邊對航天物理很感興趣的同學也在想，以後 AI 可能做得比自己更好。他用「變窄了，變更困難了」來形容這條路，失去的是一部分為科目、為人類做貢獻的使命感。
— 蘇廷浩從 ICML 到支教，他刻意關掉 AI
從韓國 ICML 回來四五天，他就去農村支教，反差是他自己講的：ICML 上所有人說的都是最先進的 AI，誰家的模型怎麼樣；到了支教的地方，每天想的是明天該背什麼課，晚上是去農場散步還是去旁邊抓昆蟲。他會有意識地讓自己在這段時間離開 AI，多跟同學、一起來的人和小孩交流，玩遊戲。他連續幾年去支教，做的是同一件事：當地小孩用中文字來記英文發音，他花五百多人民幣在淘寶買禮品，設計了一套積分的機制，讓孩子上課回答問題、參加遊戲來換，報名只收 30 個人，最後要靠村長打電話才能進來。
— 蘇廷浩原話 · 已逐字校驗
後訓練更像塑造一個身體吧 預訓練更像是你把那個具體的材料 變得更好來承受之後的後訓練的塑造 預訓練有點那個magical 有點像魔幻一樣
後訓練更像塑造一個身體，預訓練更像是你把那個具體的材料變得更好、來承受之後後訓練的塑造。預訓練有點那個 magical，有點像魔幻一樣。
蘇廷浩11:13
要是AI能被人類控制的話 而且很強的話 一些控制AI的人 就能變為那個神了 因為它能控制 無所不能的AI 然後其他人 就可能會變成螻蟻了
如果 AI 能被人類控制、而且很強，那麼一些控制 AI 的人就能變成神，因為他能控制無所不能的 AI，其他人就可能會變成螻蟻。
蘇廷浩23:21
現在來看這個 應用公司是比模型公司 掙過更多的錢 因為現在除了好像 安斯拉北家公司都在燒錢 都沒有那個profit
現在來看，應用公司比模型公司掙過更多的錢，因為現在好像除了那幾家，模型公司都在燒錢，都沒有利潤。
蘇廷浩29:22
現在的AI 你可能覺得 我其實學數學 我只是為了 給大學證明 我是一個能吃苦 能學習的人 而不是為了這個科目 而學習
現在的 AI 會讓人這樣想：我學數學，只是為了向大學證明我是一個能吃苦、能學習的人，而不是為了這門科目而學。
蘇廷浩38:26
KimiK3出現那一天 我高興了一天 因為呢 我那時候以為 那個國內 或者Open Source模型 需要那個幾個月 才能追上的 但是發現 其實沒那麼的長的時間 就可以追上了
Kimi K3 出現那一天我高興了一天，因為我那時候以為國內或者開源模型需要幾個月才能追上，結果發現沒那麼長的時間就追上了。
蘇廷浩49:30
我若是應該 之前告訴自己 抓緊這個時間 能離開這些東西 就是別多想 跟你同學 跟你這次來的人 跟你這次的小孩 就多交流 玩一些遊戲 比如浪人殺 捉迷藏 就故意告訴自己 別多想這些AI的東西
我告訴自己抓緊這段時間，能離開這些東西就離開、別多想，多和你的同學、這次一起來的人、這些小孩交流，玩玩狼人殺、捉迷藏，就故意告訴自己別去想 AI 這些東西。
蘇廷浩56:34
AI的智商 當它提升 所有AI的智商都提升 但是人類都是一代人 一代人 它都經歷 這個緩慢的成長期 所以我們的培育 其實是比AI慢很多的
AI 的智商一旦提升，所有 AI 的智商都提升；但人類是一代一代人，都要經歷這個緩慢的成長期，所以我們培育的速度其實比 AI 慢很多。
蘇廷浩1:06:43
數字與實體
| ICML 2026 收錄論文 | 1 篇 | 3:07 |
| 論文訓練總花費 | 3 萬元人民幣 | 11:13 |
| 擴大規模的預估花費 | 約 6000 元人民幣 | 11:13 |
| 三個模型未保存 checkpoint 的損失 | 1500（原文未說明幣種） | 13:13 |
| 從零手寫 Transformer 的最快用時 | 約 25 分鐘 | 14:13 |
| 每天讀一篇論文的挑戰 | 連續 30 天 | 5:08 |
| 支教活動淘寶禮品花費 | 500 多元人民幣 | 53:31 |
術語
- Attention Projection Mixing with Exogenous Anchors論文標題
- 他被 ICML 2026 收錄的論文題目，改的是 attention projection 的殘差方式。
- Value Residual Learning值殘差學習
- 把第一層 attention 的 value 加到後續層做殘差的既有方法，他論文的起點。
- fineweb edu開源預訓練數據集
- 他免費拿來訓練模型的公開數據集，最大用到 20B。
- UBI全民基本收入
- 他在十年後預測裡提到的設想：大部分人不用工作，在家吃喝。
收聽指南
關注 AI 對教育與人才影響的投資人、做 AI 教育產品的人，以及想知道 05 後究竟怎麼用 AI 的工程師。
8 到 11 分鐘的象棋、奧數與競賽經歷可以快進。