KV Cache 放本地 NVMe 还是外置 NVMe-oF 阵列？

本地方案是一块 NVMe 盘（PCIe Gen4，2 TB）。外置方案是 FX100 全闪 NVMe-oF 阵列：4 盘 RAID0（14 TB，XFS），通过 RoCEv2 走单口 100 GbER2。

需要说明的是，这不是同等盘数的对比，对照组是单盘。如果你的服务器本地已经配了多盘阵列，差距会和这里不同，需要用自己的配置实测。

模型是 Qwen3-Coder-480B-FP8，部署在 8 × AMD MI308X 上，负载为长上下文冷恢复。箭头左边是本地 NVMe 单盘，右边是 FX100。

• 并发 8：TTFT p50 10.17 s → 7.53 s，吞吐 43.9 → 56.6 tok/s（+29%）R2。
• 并发 16：TTFT p50 17.31 s → 11.85 s，吞吐 53.6 → 74.9 tok/s（+40%）R2。
• 并发 32：TTFT p50 35.73 s → 26.35 s，吞吐 53.9 → 71.6 tok/s（+33%）R2。

直觉上本地盘离 GPU 更近。但决定首 token 延迟的不是协议多出来的那一点时延，而是并发回读时能不能把数据足够快地送回显存。多盘全闪池加上 RDMA 网络，能提供的并发读带宽高于单块本地盘。

软件也有份：LMCache 并行读补丁把单卡冷读带宽从 0.98 GB/s 提高到 5.23 GB/sR1。没有这个补丁，再快的盘也会被串行读路径卡住。

一是共享。本地盘上的缓存只有这台服务器能用；外置池里的缓存，被调度到任何一个实例的会话都能读到。fs:// 共享池的跨实例热共享已经验证通过R3。

二是配比。生产口径是每台 FX100 服务 8 个推理节点，依据是 100 GbE 支撑 8 节点 KV 回读的实测锚点R1R2R3。

单台服务器、并发不高、会话不需要跨实例迁移的场景，本地 NVMe 盘已经能拿到「不重算」这个最大的收益。外置阵列的优势出现在并发回读压力大、或者多个实例需要共享缓存的时候。