# 存储加速：KV Cache 分层

> 在显存和主机内存之外加一层 FX 全闪 NVMe-oF 存储，用 vLLM + LMCache 把溢出的 KV Cache 写进去，命中时直接读回。480B 大模型生产部署形态下，相对本地 NVMe 单盘吞吐提升 29–40%、TTFT 降低 26–32%。

网页地址: https://vuke.top/solutions/storage-acceleration · 更新于 2026 年 11 月 12 日

存储加速

## 要解决的问题

长上下文、多轮对话和 Agent 负载会不断把 KV Cache 挤出显存。被挤出的会话再次到来时，GPU 只能把整段上下文重新算一遍，首 token 延迟可能长达上百秒，吞吐也随之下滑。

## 我们的做法

在显存和主机内存之外加一层 FX 全闪 NVMe-oF 存储，用 vLLM + LMCache 把溢出的 KV Cache 写进去，命中时直接读回。480B 大模型生产部署形态下，相对本地 NVMe 单盘吞吐提升 29–40%、TTFT 降低 26–32% [R2](https://vuke.top/evidence/R2) [R3](https://vuke.top/evidence/R3)。

## 要点与出处

- 不加卡先多出一截产能：联测口径下存储投入约占 GPU 预算的一成以内，换来 29–40% 的吞吐提升 [R2](https://vuke.top/evidence/R2) [R3](https://vuke.top/evidence/R3)
- 会话恢复风暴不再拖垮服务：相对无外存整段重算，加速 8.6–20× [R2](https://vuke.top/evidence/R2)
- 多个实例共用一份缓存：fs:// 共享池的跨实例热共享已验证，两轮独立测量偏差 ≤5% [R3](https://vuke.top/evidence/R3)
- 存量集群同样受益：在 NFS 成为瓶颈的昇腾 910B 平台上，模型加载提速 6.2–9.3× [R9](https://vuke.top/evidence/R9)

## 相关实测报告

- [R1](https://vuke.top/evidence/R1) · FX100 大模型推理与训练综合性能测试报告（AMD MI308X × 8）
- [R2](https://vuke.top/evidence/R2) · FX100 KV Cache 性能测试报告（480B · TP8 长上下文）
- [R3](https://vuke.top/evidence/R3) · FX100 KV Cache 性能测试汇总报告（480B · TP4×2 · 全指标）
- [R4](https://vuke.top/evidence/R4) · FX100 KV Cache 性能测试报告（480B · 多实例形态 · 编号 -006）
- [R9](https://vuke.top/evidence/R9) · FX100 与华为昇腾 910B 模型推理与训练性能测试（对照 NFS 基线）

## 相关产品

- [FX100](https://vuke.top/products/fx100): 实测数据最完整的主力机型
- [FX200](https://vuke.top/products/fx200): 单口带宽与 IOPS 翻倍的 PCIe 4.0 机型
- [FX300](https://vuke.top/products/fx300): PCIe 5.0 性能档，含 6 块 DPU

## 先联测，后决策

合作从一次约 10 周的门禁化联测开始。四道门禁逐级放行，任何一道不达标就在那里停下，不必为没有被证实的收益买单。

- **G1 · 第 2 周 · 到货验收**: 物料全部到货并点验合格；每台阵列上电自检通过，24 块盘全部识别。
- **G2 · 第 4 周 · 单机基线**: 复现单节点 8 卡推理基线，与 R1 口径的偏差在 ±10% 以内；单阵列本地压测达到实测锚点 83% 的线效。
- **G3 · 第 7 周 · 联测主门禁**: KV 分层加速须同时满足：TTFT 降幅 ≥25%，吞吐提升落在 +29–40% 的实测区间内；8 个节点共享一台阵列时，回读带宽逼近网卡上限。
- **G4 · 第 10 周 · 稳定性与验收**: 72 小时连续压测不中断；注入单盘、单链路故障时业务无感；出具签字版联测报告。