# 什么是 LMCache？

> LMCache 是一个对接 vLLM 的开源 KV Cache 库，负责把显存放不下的 KV Cache 下沉到主机内存和外置存储，并在命中时读回。它是 KV Cache 分层的主流开源实现。

网页地址: https://vuke.top/glossary/lmcache · 更新于 2026 年 11 月 12 日

LMCache 是一个对接 vLLM 的开源 KV Cache 库，负责把显存放不下的 KV Cache 下沉到主机内存和外置存储，并在命中时读回。它是 KV Cache 分层的主流开源实现。

## 在实测里

芯元一为 LMCache 编写了并行读补丁：单卡并发 16 冷读盘时，TTFT 从 37.97 s 降到 9.30 s（4.1×） [R1](https://vuke.top/evidence/R1)。补丁随 R8 代码导出包交付 [R8](https://vuke.top/evidence/R8)。

出处: [R1](https://vuke.top/evidence/R1) [R8](https://vuke.top/evidence/R8)