跳到正文
芯元一

洞察

推理存储加速项目怎么验收?四道门禁的做法

发布于

问题

推理存储加速项目应该怎么验收,才不会为没有兑现的性能买单?

结论

把验收拆成四道按周推进的门禁,每一道都有可以测量的通过条件,任何一道不达标就停在那里:G1 到货验收(第 2 周)、G2 单机基线(第 4 周)、G3 联测主门禁(第 7 周)、G4 稳定性与验收(第 10 周)。

为什么要分门禁

性能类项目最常见的纠纷是:设备到了、钱付了,上线后的数字和方案书对不上,而双方对「怎么算达标」各有说法。

门禁化的做法是把这个争议提前。合作开始之前就写清楚每个阶段测什么、测到多少算过;过了才进下一阶段,没过就止损。买方承担的风险被限制在当前这一道门禁以内。

四道门禁的通过条件

下面是我们在联测中使用的四道门禁,全程约 10 周。

  • G1 到货验收(第 2 周):物料全部到货并点验合格;每台阵列上电自检通过,24 块盘全部识别。
  • G2 单机基线(第 4 周):复现单节点 8 卡推理基线,与 R1 报告口径的偏差在 ±10% 以内R1;单阵列本地压测达到实测锚点 83% 的线效。
  • G3 联测主门禁(第 7 周):TTFT 降幅 ≥25%,吞吐提升落在 +29–40% 的实测区间内R2R3;8 个节点共享一台阵列时,回读带宽逼近网卡上限。
  • G4 稳定性与验收(第 10 周):72 小时连续压测不中断;注入单盘、单链路故障时业务无感;出具签字版联测报告。

门禁上的数字从哪里来

门禁阈值不是谈判出来的,而是从已有的实测报告里取的。G3 要求的吞吐区间就是 480B 模型两种部署形态下测得的 +29–40%R2R3。

这样设计的好处是双向约束:厂商不能事后降低标准,买方也不会被要求接受一个从未被测出来过的指标。

买方应该额外要求什么

除了门禁本身,有三样东西值得写进合作条款。

  • 签字版报告:每道门禁的结果落在纸面上,而不是停留在演示里。
  • 复现材料:补丁、负载客户端、编排脚本和原始数据,让你自己的团队能重跑R8。
  • 可重算的测算模型:投入产出的测算用源码交付,你可以换成自己的参数重新计算。

相关实测报告

外部参考资料

  1. 01
    MLPerf Inference: Datacenter · MLCommons

    推理性能公开基准的测试口径,讨论「可比、可复现」时的中立参照

延伸阅读

厂商给的推理性能数据,怎么核实真假?

核实厂商推理性能数据的五个检查项:对照基线、测试平台与部署形态、重复测量偏差、第三方报告、复现材料。附常见的数字陷阱和提问清单。

出处R2R3R4R5R8R9

KV Cache 分层在什么场景下没用?

KV Cache 分层的收益来自缓存命中。短对话、低并发、上下文从不重复、瓶颈在输出阶段,这四类负载收益有限。本文说明原因和自查方法。

出处R2

全部文章

先联测,后决策

先联测,后决策

合作从一次约 10 周的门禁化联测开始。四道门禁逐级放行,任何一道不达标就在那里停下,不必为没有被证实的收益买单。

联系人
王利民
电话
13161818898
邮箱
mingxin@agentmail.to

邮箱由 AI 自动接收与分拣,7×24 小时在线