AI 權力集中只是當下技術的結果，不是終局
Transformer 靠海量數據和算力才聰明，所以權力集中在買得起數據中心的大公司手裡；但 Transformer 還不到十年，人類大腦就是小數據專家的存在證明。
原視頻在 YouTube 上放不出來，用音頻聽：
核心論點 · 點時間戳可跳到原聲
集中是當前技術路線的屬性
Lucas Kaiser 把 AI 權力集中歸因於技術現狀而非 AI 本質：Transformer 只有在喂進整個互聯網數據時才「reasonably smart」，一旦只讓它學某個小領域，它就「just stupid」。所以大公司能做的事不是等研究突破，而是 go bigger, bigger, bigger——更大要花數十億美元，要從互聯網每個角落抓數據。這條路徑天然集中。但他強調要記住這只是 current state，Transformer 還不到十年。
— Lucas Kaiser沒有研究突破時，只能靠堆規模
Kaiser 區分了兩條路：一條是等研究突破，讓模型用更少數據變聰明；另一條是不等突破，直接堆規模。問題在於研究突破「sometimes they come, sometimes they don't」，它不是商業提案，沒法排進路線圖。而堆規模是可以立刻執行的，代價是數十億美元和全網數據抓取。這個不對稱——可執行的那條路恰好最集中——才是當前格局的機制，而不是大公司刻意壟斷。
— Lucas Kaiser人類就是小數據專家的存在證明
被問到是否存在讓更小玩家競爭的算法突破時，Kaiser 的回答是「we know it exists. We are the proof」：人類不是什麼都懂的通才，但在各自領域裡，專家有時比超大規模模型更強。所以這種能力在技術上一定可實現，只是還沒找到怎麼做。他甚至猜測答案裡可能仍有 attention layer，因為決定效果的不只是模型架構，還有 loss、數據、訓練方式，變量太多，不知道具體該往哪看。
— Lucas KaiserOpenAI 從研究實驗室變成了產品公司
Kaiser 觀察到實驗室的研究專注度在下降：他加入時的 OpenAI 是一個純粹的研究實驗室，現在「it's a research lab a bit」，但同時是一家要做產品的大公司。他把這視為開源運動和學術界的機會窗口——大公司分心做產品，研究空間就留給了大學和獨立研究者。他自己最近也開始獨立做研究。
— Lucas Kaiser一張消費級顯卡超過當年八卡機
Kaiser 買了一張 5090 RTX GPU，算力超過當年他們團隊用來做 Transformer 研究的八卡機器。他的結論很具體：你訓練不了大 LLM，但你可以做研究和實驗，而且他認為很多人都應該這麼做。這是全篇最硬的一個對比——當年需要團隊和機房才能做的研究，現在一個人一張卡就能起步。
— Lucas Kaiser最優解可能是很多個分布式模型
Kaiser 的樂觀來自一個類比：人類是世界上最驚人的計算機，大腦仍未被模型超越，而人類不是通才，也不存在「一個巨大的人類大腦」。他由此推測，給定固定數據量，最好的學習方式可能是擁有大量分布式模型——各自獨立時很強，聯合起來更強。他提到 ensemble 相關的基礎研究裡有支持這一點的理由。
— Lucas Kaiser數據變貴會把研究拉回基本面
Kaiser 指出機器學習研究並沒有在 2017 年停止。因為 Transformer 太好用，所有人都聚焦在大數據路線上；但現在這條路變得如此昂貴，可能反而會把注意力推回更基礎的研究。他的判斷是：我們知道存在一個更好的算法，能從更小的數據裡學習並在所學領域表現出色，只是還沒在計算機上找到怎麼做，但會找到。
— Lucas Kaiser未來每個人有自己的模型和笑點
Kaiser 描繪的終局很具體：每個人可以擁有自己的模型，從更小的數據裡學習，像人一樣成為不同領域的專家，甚至「一個用這種方式講笑話，另一個用另一種方式」。他吐槽現在問大語言模型講笑話，答案永遠一樣，總是關於原子之類的。他把這歸為技術階段的產物——當研究跟上，技術就會變。
— Lucas Kaiser原話 · 已逐字校驗
the current state of the technology is a bit concentrating, but we should remember that it's just the current state. Sure, transformers are great, but they're not even 10 years old.
當前的技術狀態確實有點集中，但我們要記住，這只是當前狀態。Transformer 確實很棒，但它們還不到十年。
Lucas Kaiser1:00
But the big companies are like, okay, but you can do things without research breakthrough, which is to go bigger, bigger, bigger. Now that is very concentrating.
但大公司的想法是：好吧，你不靠研究突破也能做事，那就是越做越大、越大、越大。而這就非常集中。
Lucas Kaiser1:00
Like transformers are really good if you train them on the whole internet and then they're reasonably smart. But if you try to say, you know, you just learn about this, then they're just stupid, right?
Transformer 只有在用整個互聯網訓練時才真的很好，然後它們還算聰明。但如果你說，你只學這個領域，那它們就是蠢的，對吧？
Lucas Kaiser2:00
Well, I mean, we know it exists. We are the proof, right? Humans are not experts in everything.
嗯，我的意思是，我們知道它存在。我們就是證明，對吧？人類並不是什麼都懂。
Lucas Kaiser2:00
So I bought a 5090 RTX GPU. It has more power than the eight GPU machines we used as a team to do the Transformers research.
所以我買了一張 5090 RTX GPU。它的算力超過我們當年作為一個團隊做 Transformer 研究時用的八卡機器。
Lucas Kaiser3:00
If you look at the world, humans are the most amazing computers in the world, right? Our brains are still unmatched by the models. And we are not generalists.
如果你看看這個世界，人類是世界上最驚人的計算機，對吧？我們的大腦仍然沒有被模型超越。而我們並不是通才。
Lucas Kaiser4:02
So, yes, transformers are great when you feed them all of the Internet, but we know there is an algorithm that's even better, and it can learn from much smaller data and be amazing at the things it's learning. We are the proof.
所以，是的，當你把整個互聯網餵給 Transformer 時它們很棒，但我們知道存在一個更好的算法，它能從小得多的數據裡學習，並在所學的東西上表現出色。我們就是證明。
Lucas Kaiser5:02
It's a step in the technology, but it's a step towards something much more fun where everyone can have their own model, maybe.
這是技術中的一步，但它是邁向某個有趣得多的東西的一步——也許每個人都能擁有自己的模型。
Lucas Kaiser6:02
數字與實體
| Kaiser 自購 GPU 型號 | 5090 RTX | 3:00 |
| 當年做 Transformer 研究用的機器 | 8 張 GPU | 3:00 |
| Transformer 論文發表年份 | 2017 年 | 5:02 |
術語
- Attention is All You Need《注意力就是你所需要的一切》
- 2017 年提出 Transformer 架構的論文，Kaiser 是共同作者。
- ensemble集成
- 把多個模型組合起來獲得更強效果的方法。
收聽指南
關注開源模型、算力成本與 AI 權力格局的創業者和投資人；想判斷「集中是否必然」的人。
結尾的訂閱與免責聲明部分（約 7:05 之後）可跳過。