术语表
读懂推理存储需要的十几个词。每个词条先给定义，再说明它在实测里对应什么。
更新于
- KV Cache
- KV Cache 是大模型推理时保存下来的中间结果：每个已处理的 token 在各注意力层算出的 Key 和 Value 张量。有了它，模型生成下一个 token 时不必把前面的上下文重新算一遍。上下文越长，KV Cache 占用的显存越多。
- KV Cache 分层
- KV Cache 分层是把 KV Cache 按访问热度放在不同介质上：显存放当前活跃的会话，主机内存放近期会话，外置全闪存储放全部历史会话并供多个实例共享。前两层由推理框架管理，第三层需要单独的存储设备。
- TTFT（首 token 延迟）
- TTFT（Time To First Token）是从请求发出到模型返回第一个 token 的时间，决定了用户感受到的「响应快不快」。它主要由预填充（prefill）阶段决定：模型要先处理完全部输入，才能开始输出。
- TPOT（单 token 输出时间）
- TPOT（Time Per Output Token）是模型开始输出之后，平均每生成一个 token 所用的时间。TTFT 衡量「多久开始说话」，TPOT 衡量「说得有多快」，两者合起来描述一次请求的完整时延。
- Prefill（预填充）
- Prefill（预填充）是推理的第一个阶段：模型一次性处理全部输入 token，并为它们生成 KV Cache。输入越长，prefill 越耗时，这也是长上下文请求首 token 延迟高的直接原因。之后逐个生成输出 token 的阶段称为 decode。
- 冷恢复
- 冷恢复指一个会话的 KV Cache 已经不在显存里，请求再次到来时必须先把上下文状态恢复出来。恢复有两条路：从外置存储读回 KV Cache，或者让 GPU 把整段上下文重新计算。大量会话同时恢复的情形常被称为「会话恢复风暴」。
- 前缀缓存（Prefix Caching）
- 前缀缓存是推理引擎复用相同输入前缀的 KV Cache 的机制：两个请求开头相同（例如同一段系统提示词或同一份文档），第二个请求可以跳过这部分的计算。vLLM 内置的前缀缓存只在显存内生效。
- LMCache
- LMCache 是一个对接 vLLM 的开源 KV Cache 库，负责把显存放不下的 KV Cache 下沉到主机内存和外置存储，并在命中时读回。它是 KV Cache 分层的主流开源实现。
- vLLM
- vLLM 是一个开源的大模型推理与服务引擎，以 PagedAttention 的显存管理方式和高吞吐著称，是生产环境里部署开源大模型的常见选择。
- NVMe-oF
- NVMe-oF（NVMe over Fabrics）把 NVMe 协议从服务器内部的 PCIe 总线延伸到网络上，让多台服务器通过以太网、InfiniBand 等网络共享远端的 NVMe 存储，同时保留接近本地盘的性能。
- RoCEv2
- RoCEv2（RDMA over Converged Ethernet v2）是在以太网上实现 RDMA 的协议，报文封装在 UDP/IP 里，因此可以跨三层网络路由。RDMA 让数据绕过操作系统内核直接在两台机器的内存之间传输，时延低、CPU 占用少。
- HBM（高带宽内存）
- HBM（High Bandwidth Memory）是 AI 加速卡上使用的堆叠式高带宽内存，也就是通常所说的显存。它速度极快但容量有限、价格昂贵，模型权重和 KV Cache 都要争用这部分空间。
- TP（张量并行）
- 张量并行（Tensor Parallelism，TP）把一个模型的每一层拆到多张卡上共同计算。TP=8 表示一个模型实例横跨 8 张卡，是单卡装不下的超大模型的常见部署方式；TP4×2 则是把 8 张卡分成两个各占 4 卡的实例。
- MoE（混合专家模型）
- MoE（Mixture of Experts，混合专家）是一种模型结构：每一层包含多个「专家」子网络，每个 token 只激活其中少数几个。它让模型可以做得很大而单次计算量不随之等比增长，但权重体积庞大。
- ROCm
- ROCm 是 AMD 为其 GPU 提供的开源计算软件栈，包含驱动、编译器、数学库和深度学习框架支持，在 AMD Instinct 加速卡上的角色相当于 NVIDIA 平台上的 CUDA。
- Checkpoint（训练检查点）
- Checkpoint 是训练过程中定期保存到存储上的模型状态快照，用于故障恢复和结果留存。保存期间训练通常要暂停，写得越慢，GPU 空转的时间越长。
- 联系人
- 王利民
- 邮箱
- mingxin@agentmail.to
邮箱由 AI 自动接收与分拣，7×24 小时在线