+29–40%
推理吞吐提升
对比本地 NVMe 单盘
Qwen3-Coder-480B-FP8、TP=8 生产部署形态，长上下文冷恢复负载：并发 8 时 +29%，并发 16（实测中提升幅度最大的一档）时 +40%；TP4×2 双实例全机口径为 +35–36%。
R1–R9
实测证据库
本站的每个关键数字后面都有一个编号，对应这里的一份报告。这里公开每份报告测了什么、在什么平台上测、得出了什么结论；报告原件可以向我们申请查阅。
更新于
9 份测试报告
- R1FX100 大模型推理与训练综合性能测试报告（AMD MI308X × 8）一份报告回答五个问题：LMCache 并行读补丁有多大作用、KV 分层在多卡下能否扩展、8 卡并发加载模型快多少、频繁切换模型时算力有效利用率如何变化、训练 Checkpoint 并发写能快多少。测试模型为 Qwen2.5-32B 与 7B。
AMD Instinct MI308X × 8 · ROCm 7.2 - R2FX100 KV Cache 性能测试报告（480B · TP8 长上下文）Qwen3-Coder-480B-FP8 以八卡单实例（TP=8）的标准生产形态部署，在长上下文冷恢复负载下做三方对照：FX100、本地 NVMe 单盘、无外存整段重算，并按并发 8 / 16 / 32 做梯度。本站引用最多的吞吐与 TTFT 数字出自这份报告。
AMD Instinct MI308X × 8 · ROCm 7.2 - R3FX100 KV Cache 性能测试汇总报告（480B · TP4×2 · 全指标）同一台 8 卡服务器改为四卡双实例（TP4×2）部署，九档负载记录全部指标：TTFT 的 p50 / p90 / p99、TPOT、吞吐与盘带宽。这份报告还验证了两件事：fs:// 共享池能让两个实例热共享同一份缓存；同一档位做两轮独立测量，偏差不超过 5%。
AMD Instinct MI308X × 8 · ROCm 7.2 - R4FX100 KV Cache 性能测试报告（480B · 多实例形态 · 编号 -006）R2 与 R3 的正式汇编版，由第三方检测机构出具，报告编号 -006。如果你的采购或合规流程需要一份出自第三方机构的文件，引用这一份。
AMD Instinct MI308X × 8 · ROCm 7.2 - R5FX100 KV Cache 性能测试报告（14B · 显存效益）这份报告回答「外置 KV 层能不能当显存用」。14B 模型上做七组对照（GDS 直读、两档显存下的重算、低显存直读），用三步论证得出显存等效替代的结论。测试平台是沐曦 N260 单卡，方法论可以跨平台使用，但数字不与 MI308X 的结果混用。
沐曦 N260 单卡 - R6ComfyUI + LTX-Video 2.3 全模型部署、适配与使用报告（V2）视频生成方向的适配证明：交付的 7 个模型（3 个 VAE、fp8 文本编码器、文本投影、2 个 LoRA）在 MI308X / ROCm 7.2 上全部实跑通过，没有出现 dtype、算子或内核错误。
AMD Instinct MI308X · ROCm 7.2 - R7ComfyUI + LTX-Video 2.3 模型适配报告（AMD MI308X）R6 的分模型细目：3 个 VAE 与 Singularity LoRA 逐个实跑的记录，以及在 MI308X 上需要注意的适配要点。
AMD Instinct MI308X - R8FX100 KV Cache 测试代码导出包与原始测试数据让第三方能自己重跑一遍的全部材料：LMCache 并行读补丁（git patch 与修改前后全文）、负载客户端、编排脚本、探针取证脚本，以及原始测试数据。
AMD Instinct MI308X · ROCm 7.2 - R9FX100 与华为昇腾 910B 模型推理与训练性能测试（对照 NFS 基线）在华为 Atlas 910B × 8 的昇腾平台上，以 NFS 为基线做三组对照：模型推理加载（DeepSeek-32B / 70B）、训练权重与 Checkpoint 存取（Qwen-7B）、训练数据加速（YOLOv8 / COCO）。平台是昇腾 910B 而不是 MI308X，本站引用时都会注明。
华为 Atlas 910B × 8（Kunpeng-920）
关键数字与出处
−26–32%
首 token 延迟（TTFT）降低
对比本地 NVMe 单盘
同一 480B·TP8 负载的三档并发下，TTFT p50 从 10.17–35.73 s 降到 7.53–26.35 s。
实测出处R2
8.6–20×
相对无外存重算的加速
对比无外存、整段重算
并发 16：整段重算的 TTFT p50 为 149.5 s，接入 FX100 后为 11.85 s；吞吐 4.1 tok/s 对 74.9 tok/s。
实测出处R2
4.1×
LMCache 并行读补丁的 TTFT 改善
对比打补丁之前
单卡、并发 16、冷读盘（Qwen2.5-32B）：TTFT 37.97 s → 9.30 s；读带宽 0.98 → 5.23 GB/s，约 5.3×。
实测出处R1
6.2–9.3×
模型服务加载提速
对比 NFS，昇腾 910B 平台
华为 Atlas 910B 平台：DeepSeek-32B 服务加载 691 s → 112 s（6.2×），DeepSeek-70B 1399 s → 150 s（9.3×）。
实测出处R9
1.9×
训练 Checkpoint 保存提速
对比 R1 报告中的对照基线
8 卡 32B LoRA，每份整模型快照 65.6 GB：178 s → 94 s；持续写带宽 3.26 → 6.40 GB/s（+96%）。
实测出处R1
46.7% → 62.8%
模型切换场景的算力有效利用率
每小时切换 20 次的档位
按实测加载时间建模：每小时切换 20 次模型时，算力有效利用率从 46.7% 提高到 62.8%。
实测出处R1
16% / 30%
8 卡并发加载模型
对比 R1 报告中的对照基线
8 张卡同时冷读模型：整体墙钟时间快 16%，单个模型加载快 30%。
实测出处R1
≤5%
两轮独立测量的偏差
同一档位重复测量
同一档位做两轮独立测量，偏差不超过 5%；fs:// 共享池的跨实例热共享同时验证通过。
实测出处R3
128 GB
外置 KV 层可替代的显存驻留量级
沐曦 N260 单卡，14B 模型七组对照
14B 模型七组对照的结论：外置 KV 层可以替代 128 GB 级别的显存驻留。该轮平台是沐曦 N260 单卡，方法论可跨平台使用，数字不与 MI308X 混用。
实测出处R5
7 / 7
ComfyUI + LTX-Video 2.3 模型实跑通过
AMD MI308X，ROCm 7.2
交付的 7 个模型（3 个 VAE、fp8 文本编码器、文本投影、2 个 LoRA）在 MI308X / ROCm 7.2 上全部实跑通过，没有出现 dtype、算子或内核错误。
1 : 8
阵列与推理节点的配比
生产配比口径
每台 FX100 服务 8 个推理节点：100 GbE 能支撑 8 节点 KV 回读是实测锚点。联测口径下，存储投入约占 GPU 预算的一成以内。
480B · TP8 原始读数
FX100 全闪阵列本地 NVMe 单盘
TTFT p50 (s)
↓ 越低越好
并发8
- 本地 NVMe 单盘 · 并发 8
- 10.17 s
- FX100 · 并发 8
- 7.53 s
−26%
并发16
- 本地 NVMe 单盘 · 并发 16
- 17.31 s
- FX100 · 并发 16
- 11.85 s
−32%
并发32
- 本地 NVMe 单盘 · 并发 32
- 35.73 s
- FX100 · 并发 32
- 26.35 s
−26%
吞吐 (tok/s)
↑ 越高越好
并发8
- 本地 NVMe 单盘 · 并发 8
- 43.9 tok/s
- FX100 · 并发 8
- 56.6 tok/s
+29%
并发16
- 本地 NVMe 单盘 · 并发 16
- 53.6 tok/s
- FX100 · 并发 16
- 74.9 tok/s
+40%
并发32
- 本地 NVMe 单盘 · 并发 32
- 53.9 tok/s
- FX100 · 并发 32
- 71.6 tok/s
+33%
| 并发 | FX100 TTFT | 本地 NVMe 单盘 TTFT | 整段重算 TTFT | FX100 tok/s | 本地 NVMe 单盘 tok/s | 整段重算 tok/s |
|---|---|---|---|---|---|---|
| 8 | 7.53 s | 10.17 s | — | 56.6 | 43.9 | — |
| 16 | 11.85 s | 17.31 s | 149.48 s | 74.9 | 53.6 | 4.1 |
| 32 | 26.35 s | 35.73 s | — | 71.6 | 53.9 | — |
测试平台
| 加速卡 | 8 × AMD Instinct MI308X（每卡 192 GB HBM，gfx942） |
|---|---|
| 主机 | 2 × AMD EPYC 9654（384 线程），内存约 1.5 TB |
| 软件栈 | ROCm 7.2 · vLLM 0.20.1+rocm721 · LMCache（上游主线 2026-06-29 源码编译） |
| 被测设备 | FX100 全闪 NVMe-oF 阵列：4 盘 RAID0（14 TB，XFS），RoCEv2，单口 100 GbE |
| 对照基线 | 本地 NVMe 单盘（PCIe Gen4，2 TB）；无外存、整段重算 |
| 480B 模型 | Qwen3-Coder-480B-FP8（MoE，权重约 450 GB） |
四种数据口径
- 实测
- 出自签字级或正式版测试报告，带报告编号。
- 厂商
- 产品标称规格与列表参考价。
- 公开
- 来自可公开查阅的第三方资料，附来源链接。
- 估算
- 由实测锚点推算，测算模型可用 Python 复现。
申请报告原件
告诉我们你需要的报告编号和用途，我们会回复获取方式。R8 的代码导出包与原始数据同样按申请提供。
关于名称：FX100 在早期测试报告的文件名里写作 AISSD5000，更早也叫过 WS5000 / GP5000，报告原文有时署「铭信」。它们指的是同一款产品。本站统一使用 FX 命名（FX100 / FX200 / FX300 / FX400），报告条目保留原始标题，方便对照查证。
- 联系人
- 王利民
- 邮箱
- mingxin@agentmail.to
邮箱由 AI 自动接收与分拣，7×24 小时在线