umarjamilai

大模型推理卡頓的真兇不是算力不足，而是GPU一直在等數據

H100算力是內存帶寬的600倍，解碼階段每步只產一個token卻要搬完整KV緩存，GPU大部分時間不在算數據，而在等數據搬運完成。