# KV Cache 被逐出后重算还是读回？480B 模型实测

> 480B 模型、并发 16 的长上下文冷恢复负载下，整段重算与从 FX100 读回 KV Cache 的首 token 延迟和吞吐对比，附测试条件、两个对照基线和复现方式。

网页地址: https://vuke.top/insights/recompute-vs-read-back-480b · 更新于 2026 年 11 月 12 日

发布于: 2026-11-12

**问题**: KV Cache 被逐出显存后，是整段重算快，还是从外置存储读回快？

**结论**: 读回快得多。Qwen3-Coder-480B-FP8 在并发 16 的长上下文冷恢复负载下，无外存整段重算的 TTFT p50 是 149.48 s、吞吐 4.1 tok/s；把 KV Cache 存在 FX100 上再读回，TTFT p50 是 11.85 s、吞吐 74.9 tok/s [R2](https://vuke.top/evidence/R2)。

## 测试是怎么做的

模型是 Qwen3-Coder-480B-FP8，以八卡单实例（TP=8）的生产形态部署在 8 × AMD MI308X 上。负载是长上下文冷恢复：会话的 KV Cache 已经不在显存里，请求到来时要么重算，要么读回。

同一负载下做三方对照：FX100 全闪阵列、本地 NVMe 单盘、无外存整段重算。FX100 与本地盘按并发 8、16、32 三档测量，整段重算只测了并发 16 一档 [R2](https://vuke.top/evidence/R2)。

## 并发 16 的三组读数

三种做法在同一并发下的 TTFT p50 与吞吐如下。

- 无外存、整段重算：TTFT p50 149.48 s，吞吐 4.1 tok/s [R2](https://vuke.top/evidence/R2)。
- 本地 NVMe 单盘：TTFT p50 17.31 s，吞吐 53.6 tok/s [R2](https://vuke.top/evidence/R2)。
- FX100 全闪阵列：TTFT p50 11.85 s，吞吐 74.9 tok/s [R2](https://vuke.top/evidence/R2)。

## 两个基线不能混着说

「快了多少」取决于跟谁比。这组测试里有两个分母。

对比无外存整段重算，加速是 8.6–20× [R2](https://vuke.top/evidence/R2)。这个数字回答的是「要不要把 KV Cache 存下来」。

对比本地 NVMe 单盘，吞吐提升 29–40%，TTFT p50 降低 26–32% [R2](https://vuke.top/evidence/R2) [R3](https://vuke.top/evidence/R3)。这个数字回答的是「存在哪里更好」。把两组数字合成一句话，就会让人误以为外置阵列比本地盘快一个量级，这不是事实。

## 这些数字能不能复现

同一档位做两轮独立测量，偏差不超过 5% [R3](https://vuke.top/evidence/R3)。两种部署形态的结论由第三方检测机构汇编出具了正式报告 [R4](https://vuke.top/evidence/R4)。

LMCache 并行读补丁、负载客户端、编排脚本和原始数据打包为 R8，可以在自己的集群上重跑 [R8](https://vuke.top/evidence/R8)。你的模型、上下文长度和并发量不同，读数也会不同；这份数据说明的是量级和方向。

## 相关实测报告

- [R2](https://vuke.top/evidence/R2) · FX100 KV Cache 性能测试报告（480B · TP8 长上下文） (AMD Instinct MI308X × 8 · ROCm 7.2)
- [R3](https://vuke.top/evidence/R3) · FX100 KV Cache 性能测试汇总报告（480B · TP4×2 · 全指标） (AMD Instinct MI308X × 8 · ROCm 7.2)
- [R4](https://vuke.top/evidence/R4) · FX100 KV Cache 性能测试报告（480B · 多实例形态 · 编号 -006） (AMD Instinct MI308X × 8 · ROCm 7.2)
- [R8](https://vuke.top/evidence/R8) · FX100 KV Cache 测试代码导出包与原始测试数据 (AMD Instinct MI308X · ROCm 7.2)

## 外部参考资料

- [LMCache (GitHub repository)](https://github.com/LMCache/LMCache) · LMCache Project. LMCache 的源码、架构与存储后端说明
- [vLLM Documentation](https://docs.vllm.ai/) · vLLM Project. vLLM 的部署方式、前缀缓存与张量并行等配置的官方说明