报告 R1 · 性能测试报告

FX100 大模型推理与训练综合性能测试报告（AMD MI308X × 8）

一份报告回答五个问题：LMCache 并行读补丁有多大作用、KV 分层在多卡下能否扩展、8 卡并发加载模型快多少、频繁切换模型时算力有效利用率如何变化、训练 Checkpoint 并发写能快多少。测试模型为 Qwen2.5-32B 与 7B。

关键结论

4.1×

对比打补丁之前

单卡、并发 16、冷读盘（Qwen2.5-32B）：TTFT 37.97 s → 9.30 s；读带宽 0.98 → 5.23 GB/s，约 5.3×。

实测出处R1

1.9×

对比 R1 报告中的对照基线

8 卡 32B LoRA，每份整模型快照 65.6 GB：178 s → 94 s；持续写带宽 3.26 → 6.40 GB/s（+96%）。

实测出处R1

46.7% → 62.8%

每小时切换 20 次的档位

按实测加载时间建模：每小时切换 20 次模型时，算力有效利用率从 46.7% 提高到 62.8%。

实测出处R1

16% / 30%

对比 R1 报告中的对照基线

8 张卡同时冷读模型：整体墙钟时间快 16%，单个模型加载快 30%。

实测出处R1

1 : 8

生产配比口径

每台 FX100 服务 8 个推理节点：100 GbE 能支撑 8 节点 KV 回读是实测锚点。联测口径下，存储投入约占 GPU 预算的一成以内。

估算出处R1 R2 R3

适用于 R1、R2、R3、R4。其余报告的平台见各自条目。
加速卡	8 × AMD Instinct MI308X（每卡 192 GB HBM，gfx942）
主机	2 × AMD EPYC 9654（384 线程），内存约 1.5 TB
软件栈	ROCm 7.2 · vLLM 0.20.1+rocm721 · LMCache（上游主线 2026-06-29 源码编译）
被测设备	FX100 全闪 NVMe-oF 阵列：4 盘 RAID0（14 TB，XFS），RoCEv2，单口 100 GbE
对照基线	本地 NVMe 单盘（PCIe Gen4，2 TB）；无外存、整段重算
480B 模型	Qwen3-Coder-480B-FP8（MoE，权重约 450 GB）

告诉我们你需要的报告编号和用途，我们会回复获取方式。R8 的代码导出包与原始数据同样按申请提供。

申请报告原件申请时请注明编号R1

先联测，后决策

合作从一次约 10 周的门禁化联测开始。四道门禁逐级放行，任何一道不达标就在那里停下，不必为没有被证实的收益买单。