厂商给的推理性能数据，怎么核实真假？

下面每一项都用我们自己的报告举例，说明一份可以核实的数据应该长什么样。

• 对照基线：同一套设备，相对无外存整段重算是 8.6–20×，相对本地 NVMe 单盘是吞吐 +29–40%R2R3。不写基线的「提升多少」没有意义。
• 平台与部署形态：AMD MI308X、华为昇腾 910B、沐曦 N260 上的结果分别成文，不合并R2R9R5。换一种卡、换一种并行方式，数字都会变。
• 重复测量偏差：同一档位做两轮独立测量，偏差不超过 5%R3。只测一次的数字，无从判断是不是偶然。
• 第三方报告：两种部署形态的结论由第三方检测机构汇编出具了正式报告R4。
• 复现材料：补丁、负载客户端、编排脚本和原始数据打包交付，买方可以自己重跑R8。

即使数字本身是真的，也有几种常见的呈现方式会误导判断。

• 混用分母：把相对「什么都不做」的大倍数，说成相对现有方案的提升。
• 只报最有利的一档：完整的做法是报出梯度。以 480B 模型为例，吞吐提升在并发 8 时是 +29%，并发 16 时是 +40%，并发 32 时是 +33%R2。
• 把建模结果说成实测结果：由实测数据推算出来的数字应当明确标注为估算，并交出推算用的模型。

核实不需要很深的技术背景，把下面的问题发过去，看对方能不能逐条给出书面回答。

• 这个提升是跟什么方案比出来的？对照组的硬件配置是什么？
• 测试用的是什么模型、几张卡、哪种部署形态、什么负载？
• 同样的测试重复过几次？每次的读数差多少？
• 有没有第三方机构出具的报告？报告编号是什么？
• 测试脚本和原始数据能不能给我们，让我们在自己的集群上重跑？

核实只能说明厂商的数字在厂商的条件下成立。你的模型、上下文长度和并发量不同，结果也会不同。所以最后一步始终是在自己的负载上测一遍，并把通过条件提前写下来。