洞察

买方真正会问的问题，一篇回答一个。每篇先给结论，再给数据和出处。

更新于 2026 年 11 月 12 日

2026 年 11 月 12 日

每次切换模型，GPU 都在等权重从存储读进显存。实测显示，每小时切换 20 次时，缩短加载时间可把算力有效利用率从 46.7% 提高到 62.8%。

出处R1

2026 年 11 月 12 日

核实厂商推理性能数据的五个检查项：对照基线、测试平台与部署形态、重复测量偏差、第三方报告、复现材料。附常见的数字陷阱和提问清单。

出处R2R3R4R5R8R9

2026 年 11 月 12 日

把推理存储加速的验收拆成四道按周推进的门禁：到货验收、单机基线、联测主门禁、稳定性验收。每道都有可测量的通过条件，不达标就停。

出处R1R2R3R8

2026 年 11 月 12 日

在华为昇腾 910B × 8 的平台上，把模型存储从 NFS 换成 FX100 全闪阵列后，DeepSeek-32B 与 70B 的服务加载时间实测对比，以及这组数字的适用范围。

出处R1R9

2026 年 11 月 12 日

两种做法都能避免整段重算。480B 模型三档并发的实测里，外置 FX100 阵列相对本地 NVMe 单盘吞吐更高、首 token 延迟更低；本文同时说明对照条件的局限。

出处R1R2R3

2026 年 11 月 12 日

480B 模型、并发 16 的长上下文冷恢复负载下，整段重算与从 FX100 读回 KV Cache 的首 token 延迟和吞吐对比，附测试条件、两个对照基线和复现方式。

出处R2R3R4R8

2026 年 11 月 12 日

长上下文场景里，首 token 延迟高往往是因为被逐出显存的会话在整段重算。本文给出三个不加卡的办法，以及 480B 模型在三档并发下的实测降幅。

出处R1R2R3

2026 年 11 月 12 日

KV Cache 分层把溢出显存的 KV Cache 存到主机内存和外置全闪存储，会话回来时直接读回而不重算。本文说明三层结构、实测收益和不适用的场景。

出处R2R3R8

2026 年 11 月 12 日

KV Cache 分层的收益来自缓存命中。短对话、低并发、上下文从不重复、瓶颈在输出阶段，这四类负载收益有限。本文说明原因和自查方法。

出处R2

先联测，后决策

合作从一次约 10 周的门禁化联测开始。四道门禁逐级放行，任何一道不达标就在那里停下，不必为没有被证实的收益买单。