什么是 vLLM？

• R2FX100 KV Cache 性能测试报告（480B · TP8 长上下文）Qwen3-Coder-480B-FP8 以八卡单实例（TP=8）的标准生产形态部署，在长上下文冷恢复负载下做三方对照：FX100、本地 NVMe 单盘、无外存整段重算，并按并发 8 / 16 / 32 做梯度。本站引用最多的吞吐与 TTFT 数字出自这份报告。2026-07-05
  AMD Instinct MI308X × 8 · ROCm 7.2

• LMCache→

  LMCache 是一个对接 vLLM 的开源 KV Cache 库，负责把显存放不下的 KV Cache 下沉到主机内存和外置存储，并在命中时读回。它是 KV Cache 分层的主流开源实现。

• NVMe-oF→

  NVMe-oF（NVMe over Fabrics）把 NVMe 协议从服务器内部的 PCIe 总线延伸到网络上，让多台服务器通过以太网、InfiniBand 等网络共享远端的 NVMe 存储，同时保留接近本地盘的性能。

全部术语→