KV Cache 被逐出后重算还是读回？480B 模型实测

问题

KV Cache 被逐出显存后，是整段重算快，还是从外置存储读回快？

结论

读回快得多。Qwen3-Coder-480B-FP8 在并发 16 的长上下文冷恢复负载下，无外存整段重算的 TTFT p50 是 149.48 s、吞吐 4.1 tok/s；把 KV Cache 存在 FX100 上再读回，TTFT p50 是 11.85 s、吞吐 74.9 tok/sR2。

测试是怎么做的

模型是 Qwen3-Coder-480B-FP8，以八卡单实例（TP=8）的生产形态部署在 8 × AMD MI308X 上。负载是长上下文冷恢复：会话的 KV Cache 已经不在显存里，请求到来时要么重算，要么读回。

同一负载下做三方对照：FX100 全闪阵列、本地 NVMe 单盘、无外存整段重算。FX100 与本地盘按并发 8、16、32 三档测量，整段重算只测了并发 16 一档R2。

三种做法在同一并发下的 TTFT p50 与吞吐如下。

「快了多少」取决于跟谁比。这组测试里有两个分母。

对比无外存整段重算，加速是 8.6–20×R2。这个数字回答的是「要不要把 KV Cache 存下来」。

对比本地 NVMe 单盘，吞吐提升 29–40%，TTFT p50 降低 26–32%R2 R3。这个数字回答的是「存在哪里更好」。把两组数字合成一句话，就会让人误以为外置阵列比本地盘快一个量级，这不是事实。

同一档位做两轮独立测量，偏差不超过 5%R3。两种部署形态的结论由第三方检测机构汇编出具了正式报告R4。

LMCache 并行读补丁、负载客户端、编排脚本和原始数据打包为 R8，可以在自己的集群上重跑R8。你的模型、上下文长度和并发量不同，读数也会不同；这份数据说明的是量级和方向。