KV Cache 分层是什么？原理、收益与适用边界

大模型每处理一个 token，都会在各注意力层留下一份 Key / Value 张量，也就是 KV Cache。有了它，生成下一个 token 时不必重新计算前面的上下文。上下文越长，这份缓存越大。

显存要同时放模型权重和所有活跃会话的 KV Cache。会话一多，较早的缓存就被逐出。被逐出的会话再发来请求时，模型只能把整段上下文重新预填充一遍，首 token 延迟随之飙升。

分层的思路很直接：被逐出的 KV Cache 不丢弃，而是换个地方存着。

缓存按访问热度放在三种介质上。前两层由推理框架管理，第三层需要单独的存储设备。

• 显存：当前活跃的会话，由 vLLM 管理。
• 主机内存：近期用过的会话，由 LMCache 管理。
• 外置全闪存储：全部历史会话，并且可以让多个推理实例共享同一份缓存。

测试对象是 Qwen3-Coder-480B-FP8，以 TP=8 的生产形态部署在 8 × AMD MI308X 上，负载为长上下文冷恢复。有两个对照基线，要分开看。

对比无外存、整段重算：加速 8.6–20×R2。

对比本地 NVMe 单盘：吞吐提升 29–40%，TTFT p50 降低 26–32%R2R3。也就是说，同样是把 KV Cache 存下来再读，放在外置全闪阵列上比放在服务器本地的一块盘上更快。

收益来自缓存命中。短对话、低并发的场景里，会话很少被逐出，也很少回来，这一层就没有多少内容可读。长上下文、多轮对话、Agent 和代码助手这类会话恢复频繁的负载，收益才明显。

所以在决定采购之前，应该先用自己的会话长度分布和并发量测一遍。