术语表
什么是 LMCache？
LMCache 是一个对接 vLLM 的开源 KV Cache 库，负责把显存放不下的 KV Cache 下沉到主机内存和外置存储，并在命中时读回。它是 KV Cache 分层的主流开源实现。
更新于
在实测里
相关实测报告
- R1FX100 大模型推理与训练综合性能测试报告（AMD MI308X × 8）一份报告回答五个问题：LMCache 并行读补丁有多大作用、KV 分层在多卡下能否扩展、8 卡并发加载模型快多少、频繁切换模型时算力有效利用率如何变化、训练 Checkpoint 并发写能快多少。测试模型为 Qwen2.5-32B 与 7B。
AMD Instinct MI308X × 8 · ROCm 7.2 - R8FX100 KV Cache 测试代码导出包与原始测试数据让第三方能自己重跑一遍的全部材料：LMCache 并行读补丁（git patch 与修改前后全文）、负载客户端、编排脚本、探针取证脚本，以及原始测试数据。
AMD Instinct MI308X · ROCm 7.2
相邻词条
- 前缀缓存（Prefix Caching）
前缀缓存是推理引擎复用相同输入前缀的 KV Cache 的机制：两个请求开头相同（例如同一段系统提示词或同一份文档），第二个请求可以跳过这部分的计算。vLLM 内置的前缀缓存只在显存内生效。
- vLLM
vLLM 是一个开源的大模型推理与服务引擎，以 PagedAttention 的显存管理方式和高吞吐著称，是生产环境里部署开源大模型的常见选择。
- 联系人
- 王利民
- 邮箱
- mingxin@agentmail.to
邮箱由 AI 自动接收与分拣，7×24 小时在线