GitHub 的 PR 頁面曾要跑超百條 SQL 查詢才能加載出來
Slack 和 GitHub 的擴容故事都指向同一個真相:早期為了多拿一個客戶打的補丁,會在幾年後變成拖垮整個系統的技術債,而修復它比當初寫下它難十倍。
原視頻在 YouTube 上放不出來,用音頻聽:
核心論點 · 點時間戳可跳到原聲
企業版把公司偽裝成多個小公司
Slack早期數據按團隊分片,一個客戶一個庫。企業版上線後,為了複用這套架構,工程團隊把IBM這樣的大公司內部的市場部、工程部偽裝成獨立的小團隊,再造出一個Enterprise實體把它們粘合起來,讓跨團隊私信和頻道能工作。結果是IBM全公司所有人查私信、查大頻道時都打在同一個Enterprise分片上,這個分片很快就扛不住了。
— Maude一次遷移差點刪光全公司的Slack消息
為了合併DM、公開頻道、私密頻道三張分裂的表,Maude手寫了一層薄薄的抽象,做雙寫、影子讀對比數據。驗證通過後她在週四的Gather Hour把開關打到全公司,結果發現數據有點不對,於是她像平時清本地環境一樣直接刪表重跑回填——卻忘了這個開關對全Slack都生效。結果全公司的人側邊欄空白了大約半小時,期間幾乎沒人發現,因為大家都在Gather Hour聚會。
— MaudeCEO一句「放假」能引發表情符號雪崩
CEO在十萬人頻道發「大家週五放假」,這條消息通過WebSocket廣播給所有人,幾秒內所有人湧入頻道、拉取歷史、瘋狂點表情慶祝。每一個表情反應也要再廣播給所有人,一個表情變成十萬條,十個表情就是百萬條。Slack的解法不是優化架構,而是產品層面直接把一條消息上的自定義表情種類上限設成23個,多出來的直接不算。
— Maude身兼多職的管理員每條消息收到30遍
IBM的Slack管理員Jeff同時登錄在大約30個工作區裡。當時架構是每個工作區各自建一條WebSocket連接,企業級的一條消息如果在這30個工作區裡都共享可見,就會毫無去重地給他的客戶端推送30次,導致他的客戶端經常直接崩潰。這種「事件洪流」只折磨重度用戶,而重度用戶恰恰是Slack最忠實的擁護者。
— Maude50萬真實連接的壓測,一次就花15萬美元
為了驗證能否扛住一個50萬座席的大客戶,Slack最初用Kubernetes跑海量headless Chrome實例模擬真實用戶點擊,但光雲端算力成本就高到離譜——每個headless Chrome實例每小時3毛7分錢,一次五小時的測試就要燒掉約15萬美元,而且一半時間都在重啟崩潰的Pod。團隊後來放棄高保真方案,改用輕量級Go進程建立真實WebSocket連接並回放錄製好的API請求序列,犧牲一些保真度換取可重複、低成本的壓測。
— Maude只有16個分片撐起GitHub全部PR和Issue
GitHub用Vitess給MySQL做動態分片,但Maude加入時發現所有pull request和issue數據只分布在16個分片上,遠遠少於她在Slack習慣的「每個分片鍵配幾千個分片」。原因是系統裡已經存在大量「scatter查詢」——沒帶主鍵、必須掃遍每個分片才能返回結果的查詢——分片越多這類查詢反而越慢,這形成了一個死結:想擴容必須先清理scatter查詢,但清理比想像中難得多。
— Maude五行代碼,查不出一句SQL在哪裡
在用ActiveRecord重寫GitHub的Rails代碼時,Maude和同事想揪出一個調用stars表的查詢源頭,結果定位到一個只有五行的函數,卻完全看不到任何SQL語句的影子。她問同事「SQL在哪」,對方回答「Mo,這就是那個價值百萬美元的問題」。這正是她對比Slack所用的Flamework式「SQL直接寫在代碼裡」和GitHub ActiveRecord式「抽象到看不見SQL」兩種風格後,體會最深的落差。
— MaudeGitHub頁面上的計數器幾乎全是實時算出來的
ActiveRecord只有在查詢條件完全一致時才會命中緩存,稍微換個條件就重新查庫。Maude發現GitHub一個代碼庫主頁要跑超過100條MySQL查詢、橫跨至少三個MySQL集群,而且幾乎所有頁面上顯示的計數(open PR數、issue數)都是實時計算、完全沒有緩存的。她的判斷是這類計數超過某個閾值後根本不需要精確——顯示「99+」就夠了,沒必要為了一個沒人在乎的數字去跑一次昂貴的實時統計。
— Maude原話 · 已逐字校驗
People had completely blank sidebars for about half an hour.
所有人的側邊欄空白了大約半小時。
Maude24:43
So one custom emoji turns into 100,000 custom emojis being sent to everyone who's connected.
於是一個自定義表情就變成了發送給所有在線用戶的十萬個自定義表情。
Maude28:47
Yeah, we're talking about $150,000 for that one test.
沒錯,那一次測試大概花了十五萬美元。
Maude42:14
So those are queries that are coming in where you do not have the primary key in them.
這些查詢的問題在於,發過來的請求里根本不帶主鍵。
Maude53:49
And she's like, Mo, that's the million-dollar question.
她說,Mo,這就是那個價值百萬美元的問題。
Maude57:51
Almost every single count you see on a GitHub page is live calculated. None of those are cached.
你在GitHub頁面上看到的幾乎每一個計數都是實時計算出來的,沒有一個是被緩存的。
Maude1:00:56
But now we're at this point where like the spaghetti has like a life of its own and it like actively wants to spill out of the plate.
但現在我們到了這樣一個地步:意大利麵代碼已經有了自己的生命,它會主動想從盤子裡溢出來。
Maude1:16:42
數字與實體
| Slack一條消息自定義表情反應上限 | 23個 | 29:52 |
| headless Chrome壓測單實例成本 | 每5小時37美分/實例 | 41:14 |
| GitHub文件消歧頁加載所需MySQL查詢數 | 超過100條,橫跨至少3個MySQL集群 | 59:54 |
| GitHub全部PR/Issue對應的Vitess分片數 | 16個 | 52:46 |
| IBM管理員當時同時登錄的工作區數上限 | 約30個 | 32:57 |
術語
- Thundering herd驚群效應
- 大量客戶端在同一瞬間對同一資源發起請求導致系統過載
- Event flood事件洪流
- 客戶端被WebSocket推來的大量事件瞬間淹沒,區別於驚群效應
- Scatter query掃全分片查詢
- 不帶分片鍵/主鍵的查詢,必須命中每一個數據庫分片才能返回結果
- VitessVitess
- MySQL分片中間件,支持比單庫更靈活的動態水平分片
- Shadow read影子讀
- 新舊系統並行讀取並比對結果差異,但只採用舊結果,用於驗證遷移正確性
收聽指南
做數據庫分片/遷移、負責壓測體系、或在Rails/ActiveRecord這類遺留框架裡掙扎的後端與平臺工程師。
7:32-9:17 關於Rent the Runway和HipChat數據洩露的個人背景部分可以跳過。