# 术语表：KV Cache、TTFT、LMCache、NVMe-oF 等推理存储术语

> 大模型推理与存储加速的常用术语解释：KV Cache、KV Cache 分层、TTFT、TPOT、Prefill、冷恢复、前缀缓存、LMCache、vLLM、NVMe-oF、RoCEv2、HBM 等。

网页地址: https://vuke.top/glossary · 更新于 2026 年 11 月 12 日

读懂推理存储需要的十几个词。每个词条先给定义，再说明它在实测里对应什么。

## [KV Cache](https://vuke.top/glossary/kv-cache)

KV Cache 是大模型推理时保存下来的中间结果：每个已处理的 token 在各注意力层算出的 Key 和 Value 张量。有了它，模型生成下一个 token 时不必把前面的上下文重新算一遍。上下文越长，KV Cache 占用的显存越多。

## [KV Cache 分层](https://vuke.top/glossary/kv-cache-tiering)

KV Cache 分层是把 KV Cache 按访问热度放在不同介质上：显存放当前活跃的会话，主机内存放近期会话，外置全闪存储放全部历史会话并供多个实例共享。前两层由推理框架管理，第三层需要单独的存储设备。

## [TTFT（首 token 延迟）](https://vuke.top/glossary/ttft)

TTFT（Time To First Token）是从请求发出到模型返回第一个 token 的时间，决定了用户感受到的「响应快不快」。它主要由预填充（prefill）阶段决定：模型要先处理完全部输入，才能开始输出。

## [TPOT（单 token 输出时间）](https://vuke.top/glossary/tpot)

TPOT（Time Per Output Token）是模型开始输出之后，平均每生成一个 token 所用的时间。TTFT 衡量「多久开始说话」，TPOT 衡量「说得有多快」，两者合起来描述一次请求的完整时延。

## [Prefill（预填充）](https://vuke.top/glossary/prefill)

Prefill（预填充）是推理的第一个阶段：模型一次性处理全部输入 token，并为它们生成 KV Cache。输入越长，prefill 越耗时，这也是长上下文请求首 token 延迟高的直接原因。之后逐个生成输出 token 的阶段称为 decode。

## [冷恢复](https://vuke.top/glossary/cold-recovery)

冷恢复指一个会话的 KV Cache 已经不在显存里，请求再次到来时必须先把上下文状态恢复出来。恢复有两条路：从外置存储读回 KV Cache，或者让 GPU 把整段上下文重新计算。大量会话同时恢复的情形常被称为「会话恢复风暴」。

## [前缀缓存（Prefix Caching）](https://vuke.top/glossary/prefix-caching)

前缀缓存是推理引擎复用相同输入前缀的 KV Cache 的机制：两个请求开头相同（例如同一段系统提示词或同一份文档），第二个请求可以跳过这部分的计算。vLLM 内置的前缀缓存只在显存内生效。

## [LMCache](https://vuke.top/glossary/lmcache)

LMCache 是一个对接 vLLM 的开源 KV Cache 库，负责把显存放不下的 KV Cache 下沉到主机内存和外置存储，并在命中时读回。它是 KV Cache 分层的主流开源实现。

## [vLLM](https://vuke.top/glossary/vllm)

vLLM 是一个开源的大模型推理与服务引擎，以 PagedAttention 的显存管理方式和高吞吐著称，是生产环境里部署开源大模型的常见选择。

## [NVMe-oF](https://vuke.top/glossary/nvme-of)

NVMe-oF（NVMe over Fabrics）把 NVMe 协议从服务器内部的 PCIe 总线延伸到网络上，让多台服务器通过以太网、InfiniBand 等网络共享远端的 NVMe 存储，同时保留接近本地盘的性能。

## [RoCEv2](https://vuke.top/glossary/rocev2)

RoCEv2（RDMA over Converged Ethernet v2）是在以太网上实现 RDMA 的协议，报文封装在 UDP/IP 里，因此可以跨三层网络路由。RDMA 让数据绕过操作系统内核直接在两台机器的内存之间传输，时延低、CPU 占用少。

## [HBM（高带宽内存）](https://vuke.top/glossary/hbm)

HBM（High Bandwidth Memory）是 AI 加速卡上使用的堆叠式高带宽内存，也就是通常所说的显存。它速度极快但容量有限、价格昂贵，模型权重和 KV Cache 都要争用这部分空间。

## [TP（张量并行）](https://vuke.top/glossary/tensor-parallelism)

张量并行（Tensor Parallelism，TP）把一个模型的每一层拆到多张卡上共同计算。TP=8 表示一个模型实例横跨 8 张卡，是单卡装不下的超大模型的常见部署方式；TP4×2 则是把 8 张卡分成两个各占 4 卡的实例。

## [MoE（混合专家模型）](https://vuke.top/glossary/moe)

MoE（Mixture of Experts，混合专家）是一种模型结构：每一层包含多个「专家」子网络，每个 token 只激活其中少数几个。它让模型可以做得很大而单次计算量不随之等比增长，但权重体积庞大。

## [ROCm](https://vuke.top/glossary/rocm)

ROCm 是 AMD 为其 GPU 提供的开源计算软件栈，包含驱动、编译器、数学库和深度学习框架支持，在 AMD Instinct 加速卡上的角色相当于 NVIDIA 平台上的 CUDA。

## [Checkpoint（训练检查点）](https://vuke.top/glossary/checkpoint)

Checkpoint 是训练过程中定期保存到存储上的模型状态快照，用于故障恢复和结果留存。保存期间训练通常要暂停，写得越慢，GPU 空转的时间越长。