+29–40%
推理吞吐提升
对比本地 NVMe 单盘
Qwen3-Coder-480B-FP8、TP=8 生产部署形态，长上下文冷恢复负载：并发 8 时 +29%，并发 16（实测中提升幅度最大的一档）时 +40%；TP4×2 双实例全机口径为 +35–36%。
关键结论
- 吞吐：并发 8 时 56.6 对 43.9 tok/s（+29%），并发 16 时 74.9 对 53.6 tok/s（+40%）
- TTFT p50：三档并发分别为 7.53 / 11.85 / 26.35 s，本地 NVMe 单盘为 10.17 / 17.31 / 35.73 s，降幅 26–32%
- 对比无外存整段重算（并发 16）：TTFT p50 149.48 s → 11.85 s，吞吐 4.1 → 74.9 tok/s
原始读数
FX100 全闪阵列本地 NVMe 单盘
TTFT p50 (s)
↓ 越低越好
并发8
- 本地 NVMe 单盘 · 并发 8
- 10.17 s
- FX100 · 并发 8
- 7.53 s
−26%
并发16
- 本地 NVMe 单盘 · 并发 16
- 17.31 s
- FX100 · 并发 16
- 11.85 s
−32%
并发32
- 本地 NVMe 单盘 · 并发 32
- 35.73 s
- FX100 · 并发 32
- 26.35 s
−26%
吞吐 (tok/s)
↑ 越高越好
并发8
- 本地 NVMe 单盘 · 并发 8
- 43.9 tok/s
- FX100 · 并发 8
- 56.6 tok/s
+29%
并发16
- 本地 NVMe 单盘 · 并发 16
- 53.6 tok/s
- FX100 · 并发 16
- 74.9 tok/s
+40%
并发32
- 本地 NVMe 单盘 · 并发 32
- 53.9 tok/s
- FX100 · 并发 32
- 71.6 tok/s
+33%
| 并发 | FX100 TTFT | 本地 NVMe 单盘 TTFT | 整段重算 TTFT | FX100 tok/s | 本地 NVMe 单盘 tok/s | 整段重算 tok/s |
|---|---|---|---|---|---|---|
| 8 | 7.53 s | 10.17 s | — | 56.6 | 43.9 | — |
| 16 | 11.85 s | 17.31 s | 149.48 s | 74.9 | 53.6 | 4.1 |
| 32 | 26.35 s | 35.73 s | — | 71.6 | 53.9 | — |
这份报告支撑的数字
−26–32%
首 token 延迟（TTFT）降低
对比本地 NVMe 单盘
同一 480B·TP8 负载的三档并发下，TTFT p50 从 10.17–35.73 s 降到 7.53–26.35 s。
实测出处R2
8.6–20×
相对无外存重算的加速
对比无外存、整段重算
并发 16：整段重算的 TTFT p50 为 149.5 s，接入 FX100 后为 11.85 s；吞吐 4.1 tok/s 对 74.9 tok/s。
实测出处R2
1 : 8
阵列与推理节点的配比
生产配比口径
每台 FX100 服务 8 个推理节点：100 GbE 能支撑 8 节点 KV 回读是实测锚点。联测口径下，存储投入约占 GPU 预算的一成以内。
测试平台
| 加速卡 | 8 × AMD Instinct MI308X（每卡 192 GB HBM，gfx942） |
|---|---|
| 主机 | 2 × AMD EPYC 9654（384 线程），内存约 1.5 TB |
| 软件栈 | ROCm 7.2 · vLLM 0.20.1+rocm721 · LMCache（上游主线 2026-06-29 源码编译） |
| 被测设备 | FX100 全闪 NVMe-oF 阵列：4 盘 RAID0（14 TB，XFS），RoCEv2，单口 100 GbE |
| 对照基线 | 本地 NVMe 单盘（PCIe Gen4，2 TB）；无外存、整段重算 |
| 480B 模型 | Qwen3-Coder-480B-FP8（MoE，权重约 450 GB） |
哪些页面引用了这份报告
- 产品：FX100
实测数据最完整的主力机型
- 方案：存储加速：KV Cache 分层
存储加速
- 方案：算力中心建设
算力中心建设
申请报告原件
- 联系人
- 王利民
- 邮箱
- mingxin@agentmail.to
邮箱由 AI 自动接收与分拣，7×24 小时在线