# R2：FX100 KV Cache 性能测试报告（480B · TP8 长上下文）

> Qwen3-Coder-480B-FP8 以八卡单实例（TP=8）的标准生产形态部署，在长上下文冷恢复负载下做三方对照：FX100、本地 NVMe 单盘、无外存整段重算，并按并发 8 / 16 / 32 做梯度。本站引用最多的吞吐与 TTFT 数字出自这份报告。

网页地址: https://vuke.top/evidence/R2 · 更新于 2026 年 11 月 12 日

Qwen3-Coder-480B-FP8 以八卡单实例（TP=8）的标准生产形态部署，在长上下文冷恢复负载下做三方对照：FX100、本地 NVMe 单盘、无外存整段重算，并按并发 8 / 16 / 32 做梯度。本站引用最多的吞吐与 TTFT 数字出自这份报告。

- 报告: R2
- 日期: 2026-07-05
- 类型: 性能测试报告（正式版）
- 测试平台: AMD Instinct MI308X × 8 · ROCm 7.2

## 关键结论

- 吞吐：并发 8 时 56.6 对 43.9 tok/s（+29%），并发 16 时 74.9 对 53.6 tok/s（+40%）
- TTFT p50：三档并发分别为 7.53 / 11.85 / 26.35 s，本地 NVMe 单盘为 10.17 / 17.31 / 35.73 s，降幅 26–32%
- 对比无外存整段重算（并发 16）：TTFT p50 149.48 s → 11.85 s，吞吐 4.1 → 74.9 tok/s

## 原始读数

| 并发 | FX100 TTFT p50 (s) | 本地 NVMe 单盘 TTFT p50 (s) | 整段重算 TTFT p50 (s) | FX100 tok/s | 本地 NVMe 单盘 tok/s | 整段重算 tok/s |
| --- | --- | --- | --- | --- | --- | --- |
| 8 | 7.53 | 10.17 | — | 56.6 | 43.9 | — |
| 16 | 11.85 | 17.31 | 149.48 | 74.9 | 53.6 | 4.1 |
| 32 | 26.35 | 35.73 | — | 71.6 | 53.9 | — |

Qwen3-Coder-480B-FP8 · TP=8 · 8 × MI308X · 长上下文冷恢复负载。TTFT 为 p50，单位秒；吞吐单位 tok/s；整段重算只测了并发 16 一档。 出处: [R2](https://vuke.top/evidence/R2)

## 这份报告支撑的数字

| 指标 | 数值 | 对照基线 | 说明 | 出处 |
| --- | --- | --- | --- | --- |
| 推理吞吐提升 | +29–40% | 对比本地 NVMe 单盘 | Qwen3-Coder-480B-FP8、TP=8 生产部署形态，长上下文冷恢复负载：并发 8 时 +29%，并发 16（实测中提升幅度最大的一档）时 +40%；TP4×2 双实例全机口径为 +35–36%。 | 实测 · [R2](https://vuke.top/evidence/R2) [R3](https://vuke.top/evidence/R3) |
| 首 token 延迟（TTFT）降低 | −26–32% | 对比本地 NVMe 单盘 | 同一 480B·TP8 负载的三档并发下，TTFT p50 从 10.17–35.73 s 降到 7.53–26.35 s。 | 实测 · [R2](https://vuke.top/evidence/R2) |
| 相对无外存重算的加速 | 8.6–20× | 对比无外存、整段重算 | 并发 16：整段重算的 TTFT p50 为 149.5 s，接入 FX100 后为 11.85 s；吞吐 4.1 tok/s 对 74.9 tok/s。 | 实测 · [R2](https://vuke.top/evidence/R2) |
| 阵列与推理节点的配比 | 1 : 8 | 生产配比口径 | 每台 FX100 服务 8 个推理节点：100 GbE 能支撑 8 节点 KV 回读是实测锚点。联测口径下，存储投入约占 GPU 预算的一成以内。 | 估算 · [R1](https://vuke.top/evidence/R1) [R2](https://vuke.top/evidence/R2) [R3](https://vuke.top/evidence/R3) |

## 测试平台

- 加速卡: 8 × AMD Instinct MI308X（每卡 192 GB HBM，gfx942）
- 主机: 2 × AMD EPYC 9654（384 线程），内存约 1.5 TB
- 软件栈: ROCm 7.2 · vLLM 0.20.1+rocm721 · LMCache（上游主线 2026-06-29 源码编译）
- 被测设备: FX100 全闪 NVMe-oF 阵列：4 盘 RAID0（14 TB，XFS），RoCEv2，单口 100 GbE
- 对照基线: 本地 NVMe 单盘（PCIe Gen4，2 TB）；无外存、整段重算
- 480B 模型: Qwen3-Coder-480B-FP8（MoE，权重约 450 GB）

## 申请报告原件

告诉我们你需要的报告编号和用途，我们会回复获取方式。R8 的代码导出包与原始数据同样按申请提供。

- 公司: 芯元一（天津）半导体设备有限公司
- 联系人: 王利民
- 电话: 13161818898
- 邮箱: mingxin@agentmail.to (邮箱由 AI 自动接收与分拣，7×24 小时在线)