# 什么是 KV Cache？

> KV Cache 是大模型推理时保存下来的中间结果：每个已处理的 token 在各注意力层算出的 Key 和 Value 张量。有了它，模型生成下一个 token 时不必把前面的上下文重新算一遍。上下文越长，KV Cache 占用的显存越多。

网页地址: https://vuke.top/glossary/kv-cache · 更新于 2026 年 11 月 12 日

KV Cache 是大模型推理时保存下来的中间结果：每个已处理的 token 在各注意力层算出的 Key 和 Value 张量。有了它，模型生成下一个 token 时不必把前面的上下文重新算一遍。上下文越长，KV Cache 占用的显存越多。

## 在实测里

显存放不下时，KV Cache 会被逐出。被逐出的会话再次到来，要么整段重算，要么从外置存储读回。在 480B 模型的实测中，读回比重算快 8.6–20× [R2](https://vuke.top/evidence/R2)。

出处: [R2](https://vuke.top/evidence/R2)