不加 GPU，怎么降低大模型推理的首 token 延迟？

首 token 延迟主要由预填充阶段决定：模型要先处理完全部输入，才能输出第一个 token。输入越长，预填充越久。

如果一个会话的 KV Cache 还在显存里，新一轮请求只需要处理新增的那部分输入。如果它已经被逐出，整段历史上下文都要重新算。在 480B 模型、并发 16 的实测里，这样一次整段重算的 TTFT p50 是 149.5 sR2。

所以第一步是看监控：延迟高的请求，是不是集中在隔了一段时间才回来的长会话上。

这三件事都是在存储和软件上做文章，不需要新增算力卡。

• 把被逐出的 KV Cache 存下来：用 vLLM + LMCache 把它写到外置全闪存储，命中时读回，跳过这部分预填充。
• 让读回足够快：LMCache 并行读补丁把单卡、并发 16 冷读盘的 TTFT 从 37.97 s 降到 9.30 s，读带宽从 0.98 GB/s 提高到 5.23 GB/sR1。
• 让多个实例共用一份缓存：fs:// 共享池的跨实例热共享已经验证通过，会话被调度到另一个实例时不必重算R3。

下面是 Qwen3-Coder-480B-FP8、TP=8、8 × AMD MI308X 的读数，对照基线是本地 NVMe 单盘。

• 并发 8：TTFT p50 从 10.17 s 降到 7.53 sR2。
• 并发 16：TTFT p50 从 17.31 s 降到 11.85 sR2。
• 并发 32：TTFT p50 从 35.73 s 降到 26.35 sR2。

外置缓存省掉的是重复的预填充。如果请求的上下文从来没有出现过，没有缓存可读，这一层帮不上忙。

如果瓶颈在输出阶段，也就是每个 token 的生成速度不够，那是算力问题，需要的是更多或更快的卡。先分清延迟属于哪一种，再决定钱花在哪里。