什么是 KV Cache 分层？

• R2FX100 KV Cache 性能测试报告（480B · TP8 长上下文）Qwen3-Coder-480B-FP8 以八卡单实例（TP=8）的标准生产形态部署，在长上下文冷恢复负载下做三方对照：FX100、本地 NVMe 单盘、无外存整段重算，并按并发 8 / 16 / 32 做梯度。本站引用最多的吞吐与 TTFT 数字出自这份报告。2026-07-05
  AMD Instinct MI308X × 8 · ROCm 7.2
• R3FX100 KV Cache 性能测试汇总报告（480B · TP4×2 · 全指标）同一台 8 卡服务器改为四卡双实例（TP4×2）部署，九档负载记录全部指标：TTFT 的 p50 / p90 / p99、TPOT、吞吐与盘带宽。这份报告还验证了两件事：fs:// 共享池能让两个实例热共享同一份缓存；同一档位做两轮独立测量，偏差不超过 5%。2026-07-06
  AMD Instinct MI308X × 8 · ROCm 7.2

• KV Cache 分层是什么？原理、收益与适用边界→

  KV Cache 分层把溢出显存的 KV Cache 存到主机内存和外置全闪存储，会话回来时直接读回而不重算。本文说明三层结构、实测收益和不适用的场景。

• KV Cache 分层在什么场景下没用？→

  KV Cache 分层的收益来自缓存命中。短对话、低并发、上下文从不重复、瓶颈在输出阶段，这四类负载收益有限。本文说明原因和自查方法。

• KV Cache→

  KV Cache 是大模型推理时保存下来的中间结果：每个已处理的 token 在各注意力层算出的 Key 和 Value 张量。有了它，模型生成下一个 token 时不必把前面的上下文重新算一遍。上下文越长，KV Cache 占用的显存越多。

• TTFT（首 token 延迟）→

  TTFT（Time To First Token）是从请求发出到模型返回第一个 token 的时间，决定了用户感受到的「响应快不快」。它主要由预填充（prefill）阶段决定：模型要先处理完全部输入，才能开始输出。

全部术语→