什么是 TTFT（首 token 延迟）？

• R2FX100 KV Cache 性能测试报告（480B · TP8 长上下文）Qwen3-Coder-480B-FP8 以八卡单实例（TP=8）的标准生产形态部署，在长上下文冷恢复负载下做三方对照：FX100、本地 NVMe 单盘、无外存整段重算，并按并发 8 / 16 / 32 做梯度。本站引用最多的吞吐与 TTFT 数字出自这份报告。2026-07-05
  AMD Instinct MI308X × 8 · ROCm 7.2

• KV Cache 放本地 NVMe 还是外置 NVMe-oF 阵列？→

  两种做法都能避免整段重算。480B 模型三档并发的实测里，外置 FX100 阵列相对本地 NVMe 单盘吞吐更高、首 token 延迟更低；本文同时说明对照条件的局限。

• KV Cache 被逐出后重算还是读回？480B 模型实测→

  480B 模型、并发 16 的长上下文冷恢复负载下，整段重算与从 FX100 读回 KV Cache 的首 token 延迟和吞吐对比，附测试条件、两个对照基线和复现方式。

• 不加 GPU，怎么降低大模型推理的首 token 延迟？→

  长上下文场景里，首 token 延迟高往往是因为被逐出显存的会话在整段重算。本文给出三个不加卡的办法，以及 480B 模型在三档并发下的实测降幅。

• KV Cache 分层是什么？原理、收益与适用边界→

  KV Cache 分层把溢出显存的 KV Cache 存到主机内存和外置全闪存储，会话回来时直接读回而不重算。本文说明三层结构、实测收益和不适用的场景。

• KV Cache 分层→

  KV Cache 分层是把 KV Cache 按访问热度放在不同介质上：显存放当前活跃的会话，主机内存放近期会话，外置全闪存储放全部历史会话并供多个实例共享。前两层由推理框架管理，第三层需要单独的存储设备。

• TPOT（单 token 输出时间）→

  TPOT（Time Per Output Token）是模型开始输出之后，平均每生成一个 token 所用的时间。TTFT 衡量「多久开始说话」，TPOT 衡量「说得有多快」，两者合起来描述一次请求的完整时延。

全部术语→