术语表

什么是 TPOT（单 token 输出时间）？

TPOT（Time Per Output Token）是模型开始输出之后，平均每生成一个 token 所用的时间。TTFT 衡量「多久开始说话」，TPOT 衡量「说得有多快」，两者合起来描述一次请求的完整时延。

更新于 2026 年 11 月 12 日

在实测里

R3 报告在九档负载下同时记录了 TTFT 的 p50 / p90 / p99、TPOT、吞吐和盘带宽R3。

TTFT（首 token 延迟）
TTFT（Time To First Token）是从请求发出到模型返回第一个 token 的时间，决定了用户感受到的「响应快不快」。它主要由预填充（prefill）阶段决定：模型要先处理完全部输入，才能开始输出。
Prefill（预填充）
Prefill（预填充）是推理的第一个阶段：模型一次性处理全部输入 token，并为它们生成 KV Cache。输入越长，prefill 越耗时，这也是长上下文请求首 token 延迟高的直接原因。之后逐个生成输出 token 的阶段称为 decode。

先联测，后决策

合作从一次约 10 周的门禁化联测开始。四道门禁逐级放行，任何一道不达标就在那里停下，不必为没有被证实的收益买单。