# 厂商给的推理性能数据，怎么核实真假？

> 核实厂商推理性能数据的五个检查项：对照基线、测试平台与部署形态、重复测量偏差、第三方报告、复现材料。附常见的数字陷阱和提问清单。

网页地址: https://vuke.top/insights/how-to-verify-vendor-benchmarks · 更新于 2026 年 11 月 12 日

发布于: 2026-11-12

**问题**: 供应商提供的大模型推理性能数据，买方应该怎么核实？

**结论**: 看五件事：有没有写明对照基线，有没有写明测试平台和部署形态，有没有给出重复测量的偏差，有没有第三方机构出具的报告，以及能不能拿到复现材料自己重跑。缺任何一项，这个数字都只能当作参考，不能当作采购依据。

## 五个检查项

下面每一项都用我们自己的报告举例，说明一份可以核实的数据应该长什么样。

- 对照基线：同一套设备，相对无外存整段重算是 8.6–20×，相对本地 NVMe 单盘是吞吐 +29–40% [R2](https://vuke.top/evidence/R2) [R3](https://vuke.top/evidence/R3)。不写基线的「提升多少」没有意义。
- 平台与部署形态：AMD MI308X、华为昇腾 910B、沐曦 N260 上的结果分别成文，不合并 [R2](https://vuke.top/evidence/R2) [R9](https://vuke.top/evidence/R9) [R5](https://vuke.top/evidence/R5)。换一种卡、换一种并行方式，数字都会变。
- 重复测量偏差：同一档位做两轮独立测量，偏差不超过 5% [R3](https://vuke.top/evidence/R3)。只测一次的数字，无从判断是不是偶然。
- 第三方报告：两种部署形态的结论由第三方检测机构汇编出具了正式报告 [R4](https://vuke.top/evidence/R4)。
- 复现材料：补丁、负载客户端、编排脚本和原始数据打包交付，买方可以自己重跑 [R8](https://vuke.top/evidence/R8)。

## 三个常见的数字陷阱

即使数字本身是真的，也有几种常见的呈现方式会误导判断。

- 混用分母：把相对「什么都不做」的大倍数，说成相对现有方案的提升。
- 只报最有利的一档：完整的做法是报出梯度。以 480B 模型为例，吞吐提升在并发 8 时是 +29%，并发 16 时是 +40%，并发 32 时是 +33% [R2](https://vuke.top/evidence/R2)。
- 把建模结果说成实测结果：由实测数据推算出来的数字应当明确标注为估算，并交出推算用的模型。

## 可以直接拿去问厂商的问题

核实不需要很深的技术背景，把下面的问题发过去，看对方能不能逐条给出书面回答。

- 这个提升是跟什么方案比出来的？对照组的硬件配置是什么？
- 测试用的是什么模型、几张卡、哪种部署形态、什么负载？
- 同样的测试重复过几次？每次的读数差多少？
- 有没有第三方机构出具的报告？报告编号是什么？
- 测试脚本和原始数据能不能给我们，让我们在自己的集群上重跑？

## 核实之后还要做什么

核实只能说明厂商的数字在厂商的条件下成立。你的模型、上下文长度和并发量不同，结果也会不同。所以最后一步始终是在自己的负载上测一遍，并把通过条件提前写下来。

## 相关实测报告

- [R2](https://vuke.top/evidence/R2) · FX100 KV Cache 性能测试报告（480B · TP8 长上下文） (AMD Instinct MI308X × 8 · ROCm 7.2)
- [R3](https://vuke.top/evidence/R3) · FX100 KV Cache 性能测试汇总报告（480B · TP4×2 · 全指标） (AMD Instinct MI308X × 8 · ROCm 7.2)
- [R4](https://vuke.top/evidence/R4) · FX100 KV Cache 性能测试报告（480B · 多实例形态 · 编号 -006） (AMD Instinct MI308X × 8 · ROCm 7.2)
- [R5](https://vuke.top/evidence/R5) · FX100 KV Cache 性能测试报告（14B · 显存效益） (沐曦 N260 单卡)
- [R8](https://vuke.top/evidence/R8) · FX100 KV Cache 测试代码导出包与原始测试数据 (AMD Instinct MI308X · ROCm 7.2)
- [R9](https://vuke.top/evidence/R9) · FX100 与华为昇腾 910B 模型推理与训练性能测试（对照 NFS 基线） (华为 Atlas 910B × 8（Kunpeng-920）)

## 外部参考资料

- [MLPerf Inference: Datacenter](https://mlcommons.org/benchmarks/inference-datacenter/) · MLCommons. 推理性能公开基准的测试口径，讨论「可比、可复现」时的中立参照