产品简介
vLLM 是一款开源的大模型推理与服务引擎，核心采用 PagedAttention 技术管理注意力键值缓存，通过分页机制减少显存碎片，并配合连续批处理显著提升吞吐能力。它支持张量并行、流水线并行、投机解码、多种量化方案和 LoRA 适配，提供 OpenAI 兼容的 HTTP 服务端，可在 NVIDIA GPU、AMD GPU、TPU 等多种硬件上部署。凭借高吞吐与易集成特性，vLLM 被大量云厂商和推理平台用作底层引擎。2026 年 9 月 24 日，vLLM 宣布支持基于 Gumbel-max 算法的无失真文本水印，将水印能力集成进 Model Runner v2 的采样管线，在兼容投机解码的同时保持输出多样性，为生成内容提供可追溯的标识能力。
核心功能
- PagedAttention 键值缓存管理：将注意力键值缓存分页管理，减少显存碎片，配合连续批处理显著提升推理吞吐。
- OpenAI 兼容服务端：提供 OpenAI 兼容的 HTTP 服务端，便于现有应用无缝迁移与集成。
- 多硬件与并行支持：支持张量并行、流水线并行、投机解码、多种量化方案和 LoRA 适配，可在 NVIDIA GPU、AMD GPU、TPU 等多种硬件上部署。
- 无失真文本水印：2026 年 9 月 24 日新增基于 Gumbel-max 算法的无失真水印，集成进 Model Runner v2 采样管线，通过融合 GPU kernel、双键方案和上下文去重三个改动（PR 54053、56122、56233）实现，兼容投机解码并保持输出多样性。
适合谁用
以下类型的用户会特别受益于 vLLM：
- 云厂商与推理平台作为底层推理引擎，支撑高并发大模型服务。
- 企业部署 OpenAI 兼容的私有化大模型 API 服务。
- 需要高吞吐、低显存碎片的批量文本生成场景。
- 对生成内容有可追溯标识需求的合规与内容审核场景。
- 多硬件环境下的模型推理部署，包括 NVIDIA GPU、AMD GPU 和 TPU。
优点亮点
- 开源引擎，社区活跃，被大量云厂商和推理平台采用。
- PagedAttention 与连续批处理结合，显著提升吞吐并减少显存碎片。
- 提供 OpenAI 兼容服务端，集成成本低。
- 支持张量并行、流水线并行、投机解码、多种量化方案和 LoRA 适配，扩展性强。
- 可在 NVIDIA GPU、AMD GPU、TPU 等多种硬件上部署，硬件选择灵活。
- 新增无失真文本水印，兼容投机解码并保持输出多样性，提供可追溯标识能力。
价格与方案
vLLM 为开源项目，具体定价与商业支持信息请以官网为准。
总结与建议
vLLM 是开源大模型推理与服务引擎，以 PagedAttention 和连续批处理实现高吞吐，提供 OpenAI 兼容服务端，支持多种并行、量化与 LoRA 适配，可在多种硬件部署。2026 年 9 月新增无失真文本水印，兼容投机解码并保持输出多样性，为生成内容提供可追溯标识。
版本演进
- 推出在线拟合接受估计器，让 EAGLE 与 MTP 等草稿模型也能用上 Adaptive Verification （2026-10-14）：vLLM 于 2026 年 10 月 14 日发布在线拟合的接受估计器。Adaptive Verification 需要判断每一步接受多长的草稿，通常依赖草稿模型自带的置信头，而 EAGLE 与 MTP 这类草稿模型没有置信头。新方法在线拟合出一个估计器，不需要改动模型结构就能预测接受长度，让这些草稿模型也能用上自适应验证，在保持输出分布的前提下减少验证开销。
- 推出基于 push 的 KV 传输，分离式推理首 token 时延最高提升 3 倍 （2026-10-14）：vLLM 于 2026 年 10 月 14 日发布基于 push 的 KV 缓存传输连接器，建立在 NIXL 之上。在 prefill 与 decode 分离的部署中，改由 prefill 节点主动把 KV 推给 decode 节点，省去一次请求与拉取的往返，官方称分离式推理的首 token 时延最高提升 3 倍。
- 双向 KV 传输上线：多轮智能体负载 TTFT 最高降低 1.6 倍到 3.3 倍 （2026-10-12）：vLLM 于 2026 年 10 月 12 日发布双向 KV 缓存传输（bi-directional KV transfer），文章由 AWS 的 Sunita Nadampalli 撰写。在 prefill-decode 分离部署下，原有实现只支持 KV 缓存从 prefill 节点单向流向 decode 节点，多轮对话中新生成的 KV 无法回流，prefill 节点必须重算上一轮回复的 KV 投影，历史越长冗余计算越多，TTFT 随之上升。双向传输让 decode 节点把已算好的 KV 回传给 prefill 节点，由 KV 缓存感知的路由协调，并配以可配置的 KV 重算阈值。官方在 1P1D 部署、Amazon EC2 P5en 实例与 AWS EFA 互联上的多轮基准显示，Qwen3-32B 的 TTFT 最高降低 1.6 倍，zai-org/GLM-5-FP8 最高降低 3.3 倍，实际效果取决于负载与配置。该功能最初在 AWS Trainium 集群上完成验证，之后以与加速器无关的方式贡献给 vLLM。
- DeepSeek-V4.1-Flash 推理优化 （2026-10-07）：Inferact 与 vLLM 社区在 DeepSeek-V4.1-Flash 发布三周内完成适配与优化，低并发场景速度提升 1.9 倍，在 150 TPS 约束下吞吐提升 5.3 倍，显著改善智能体场景下的响应与并发表现
- vLLM 新增基于 Gumbel-max 算法的无失真文本水印 （2026-09-24）：水印能力集成进 Model Runner v2 的采样管线，通过融合 GPU kernel、双键方案和上下文去重三个改动实现，在兼容投机解码的同时保持输出多样性，为生成内容提供可追溯标识。
- vLLM 发布 vllm-metal，支持 Apple Silicon 上的并发服务，在并发 agent 负载下提供更平 （2026-09-22）：vLLM 发布 vllm-metal，支持 Apple Silicon 上的并发服务，在并发 agent 负载下提供更平稳的 TTFT