# R1：FX100 大模型推理与训练综合性能测试报告（AMD MI308X × 8）

> 一份报告回答五个问题：LMCache 并行读补丁有多大作用、KV 分层在多卡下能否扩展、8 卡并发加载模型快多少、频繁切换模型时算力有效利用率如何变化、训练 Checkpoint 并发写能快多少。测试模型为 Qwen2.5-32B 与 7B。

网页地址: https://vuke.top/evidence/R1 · 更新于 2026 年 11 月 12 日

一份报告回答五个问题：LMCache 并行读补丁有多大作用、KV 分层在多卡下能否扩展、8 卡并发加载模型快多少、频繁切换模型时算力有效利用率如何变化、训练 Checkpoint 并发写能快多少。测试模型为 Qwen2.5-32B 与 7B。

- 报告: R1
- 日期: 2026-07-03
- 类型: 性能测试报告
- 测试平台: AMD Instinct MI308X × 8 · ROCm 7.2

## 关键结论

- LMCache 并行读补丁：单卡并发 16 冷读盘，TTFT 37.97 s → 9.30 s（4.1×），读带宽 0.98 → 5.23 GB/s
- 训练 Checkpoint：每份 65.6 GB 的整模型快照，保存耗时 178 s → 94 s（1.9×），持续写带宽 3.26 → 6.40 GB/s
- 模型并发加载：8 张卡同时冷读，墙钟时间快 16%，单模型加载快 30%
- 模型切换：每小时切换 20 次时，算力有效利用率 46.7% → 62.8%

## 这份报告支撑的数字

| 指标 | 数值 | 对照基线 | 说明 | 出处 |
| --- | --- | --- | --- | --- |
| LMCache 并行读补丁的 TTFT 改善 | 4.1× | 对比打补丁之前 | 单卡、并发 16、冷读盘（Qwen2.5-32B）：TTFT 37.97 s → 9.30 s；读带宽 0.98 → 5.23 GB/s，约 5.3×。 | 实测 · [R1](https://vuke.top/evidence/R1) |
| 训练 Checkpoint 保存提速 | 1.9× | 对比 R1 报告中的对照基线 | 8 卡 32B LoRA，每份整模型快照 65.6 GB：178 s → 94 s；持续写带宽 3.26 → 6.40 GB/s（+96%）。 | 实测 · [R1](https://vuke.top/evidence/R1) |
| 模型切换场景的算力有效利用率 | 46.7% → 62.8% | 每小时切换 20 次的档位 | 按实测加载时间建模：每小时切换 20 次模型时，算力有效利用率从 46.7% 提高到 62.8%。 | 实测 · [R1](https://vuke.top/evidence/R1) |
| 8 卡并发加载模型 | 16% / 30% | 对比 R1 报告中的对照基线 | 8 张卡同时冷读模型：整体墙钟时间快 16%，单个模型加载快 30%。 | 实测 · [R1](https://vuke.top/evidence/R1) |
| 阵列与推理节点的配比 | 1 : 8 | 生产配比口径 | 每台 FX100 服务 8 个推理节点：100 GbE 能支撑 8 节点 KV 回读是实测锚点。联测口径下，存储投入约占 GPU 预算的一成以内。 | 估算 · [R1](https://vuke.top/evidence/R1) [R2](https://vuke.top/evidence/R2) [R3](https://vuke.top/evidence/R3) |

## 测试平台

- 加速卡: 8 × AMD Instinct MI308X（每卡 192 GB HBM，gfx942）
- 主机: 2 × AMD EPYC 9654（384 线程），内存约 1.5 TB
- 软件栈: ROCm 7.2 · vLLM 0.20.1+rocm721 · LMCache（上游主线 2026-06-29 源码编译）
- 被测设备: FX100 全闪 NVMe-oF 阵列：4 盘 RAID0（14 TB，XFS），RoCEv2，单口 100 GbE
- 对照基线: 本地 NVMe 单盘（PCIe Gen4，2 TB）；无外存、整段重算
- 480B 模型: Qwen3-Coder-480B-FP8（MoE，权重约 450 GB）

## 申请报告原件

告诉我们你需要的报告编号和用途，我们会回复获取方式。R8 的代码导出包与原始数据同样按申请提供。

- 公司: 芯元一（天津）半导体设备有限公司
- 联系人: 王利民
- 电话: 13161818898
- 邮箱: mingxin@agentmail.to (邮箱由 AI 自动接收与分拣，7×24 小时在线)