# 什么是 vLLM？

> vLLM 是一个开源的大模型推理与服务引擎，以 PagedAttention 的显存管理方式和高吞吐著称，是生产环境里部署开源大模型的常见选择。

网页地址: https://vuke.top/glossary/vllm · 更新于 2026 年 11 月 12 日

vLLM 是一个开源的大模型推理与服务引擎，以 PagedAttention 的显存管理方式和高吞吐著称，是生产环境里部署开源大模型的常见选择。

## 在实测里

本站的 MI308X 实测使用 vLLM 0.20.1+rocm721，与 LMCache 组合构成 KV Cache 分层软件栈 [R2](https://vuke.top/evidence/R2)。

出处: [R2](https://vuke.top/evidence/R2)