# 什么是 KV Cache 分层？

> KV Cache 分层是把 KV Cache 按访问热度放在不同介质上：显存放当前活跃的会话，主机内存放近期会话，外置全闪存储放全部历史会话并供多个实例共享。前两层由推理框架管理，第三层需要单独的存储设备。

网页地址: https://vuke.top/glossary/kv-cache-tiering · 更新于 2026 年 11 月 12 日

KV Cache 分层是把 KV Cache 按访问热度放在不同介质上：显存放当前活跃的会话，主机内存放近期会话，外置全闪存储放全部历史会话并供多个实例共享。前两层由推理框架管理，第三层需要单独的存储设备。

## 在实测里

FX 系列承担的是第三层。在 480B 模型生产部署形态下，加上这一层后吞吐提升 29–40%、TTFT 降低 26–32% [R2](https://vuke.top/evidence/R2) [R3](https://vuke.top/evidence/R3)。

出处: [R2](https://vuke.top/evidence/R2) [R3](https://vuke.top/evidence/R3)