umarjamilai

大模型推理卡顿的真凶不是算力不足，而是GPU一直在等数据

H100算力是内存带宽的600倍，解码阶段每步只产一个token却要搬完整KV缓存，GPU大部分时间不在算数据，而在等数据搬运完成。