2 篇文档带有标签「paged-attention」

显存占用计算、PagedAttention 管理机制与 KV 量化压缩方法

跨节点 KV 传输何时受 RTT 主导、何时受带宽限制，以及如何突破瓶颈