解决方案

存储加速：KV Cache 分层

存储加速

更新于 2026 年 11 月 12 日

要解决的问题

长上下文、多轮对话和 Agent 负载会不断把 KV Cache 挤出显存。被挤出的会话再次到来时，GPU 只能把整段上下文重新算一遍，首 token 延迟可能长达上百秒，吞吐也随之下滑。

在显存和主机内存之外加一层 FX 全闪 NVMe-oF 存储，用 vLLM + LMCache 把溢出的 KV Cache 写进去，命中时直接读回。480B 大模型生产部署形态下，相对本地 NVMe 单盘吞吐提升 29–40%、TTFT 降低 26–32%R2 R3。

合作从一次约 10 周的门禁化联测开始。四道门禁逐级放行，任何一道不达标就在那里停下，不必为没有被证实的收益买单。

G1第 2 周
到货验收
物料全部到货并点验合格；每台阵列上电自检通过，24 块盘全部识别。
G2第 4 周
单机基线
复现单节点 8 卡推理基线，与 R1 口径的偏差在 ±10% 以内；单阵列本地压测达到实测锚点 83% 的线效。
G3第 7 周
联测主门禁
KV 分层加速须同时满足：TTFT 降幅 ≥25%，吞吐提升落在 +29–40% 的实测区间内；8 个节点共享一台阵列时，回读带宽逼近网卡上限。
G4第 10 周
稳定性与验收
72 小时连续压测不中断；注入单盘、单链路故障时业务无感；出具签字版联测报告。

先联测，后决策

合作从一次约 10 周的门禁化联测开始。四道门禁逐级放行，任何一道不达标就在那里停下，不必为没有被证实的收益买单。