术语表
什么是 Prefill（预填充）？
Prefill（预填充）是推理的第一个阶段：模型一次性处理全部输入 token，并为它们生成 KV Cache。输入越长，prefill 越耗时，这也是长上下文请求首 token 延迟高的直接原因。之后逐个生成输出 token 的阶段称为 decode。
更新于
在实测里
命中一次外置 KV Cache，就省掉一次完整的 prefill。这是 KV Cache 分层能降低 TTFT 的根本原因。
相邻词条
- TPOT（单 token 输出时间）
TPOT（Time Per Output Token）是模型开始输出之后，平均每生成一个 token 所用的时间。TTFT 衡量「多久开始说话」，TPOT 衡量「说得有多快」，两者合起来描述一次请求的完整时延。
- 冷恢复
冷恢复指一个会话的 KV Cache 已经不在显存里，请求再次到来时必须先把上下文状态恢复出来。恢复有两条路：从外置存储读回 KV Cache，或者让 GPU 把整段上下文重新计算。大量会话同时恢复的情形常被称为「会话恢复风暴」。
- 联系人
- 王利民
- 邮箱
- mingxin@agentmail.to
邮箱由 AI 自动接收与分拣，7×24 小时在线