vLLM 高性能推理引擎

vLLM 项目简介

vLLM 是一个面向大语言模型（LLM）推理与服务化的高性能开源库，最初诞生于加州大学伯克利分校 Sky Computing Lab，现已发展为社区驱动的活跃项目。

核心特性

高吞吐性能

• 采用 PagedAttention 技术高效管理注意力键值缓存
• 支持连续批处理、分块预填充（chunked prefill）、前缀缓存
• 通过分段或完整的 CUDA/HIP Graph 加速模型执行
• 量化支持广泛，覆盖 FP8、MXFP8/MXFP4、NVFP4、INT8、INT4、GPTQ/AWQ、GGUF、Compressed-Tensors、ModelOpt、TorchAO 等
• 集成 FlashAttention、FlashInfer、TRTLLM-GEN、FlashMLA、Triton 等优化注意力内核
• 使用 CUTLASS、TRTLLM-GEN、CuTeDSL 提供面向多种精度的 GEMM/MoE 内核
• 支持 n-gram、suffix、EAGLE、DFlash 等推测解码
• 利用 torch.compile 进行自动内核生成与图级变换
• 支持预填充、解码、编码的解耦式部署

灵活易用

• 与 Hugging Face 模型无缝集成
• 高吞吐服务支持并行采样、波束搜索等多种解码算法
• 提供张量、流水线、数据、专家、上下文并行用于分布式推理
• 支持流式输出
• 通过 xgrammar 或 guidance 生成结构化输出
• 内置工具调用与推理解析器
• 提供 OpenAI 兼容 API，同时支持 Anthropic Messages API 与 gRPC
• 高效多 LoRA 适配，覆盖 Dense 层与 MoE 层
• 跨硬件支持：NVIDIA GPU、AMD GPU、Intel GPU、x86/ARM/PowerPC CPU，以及 Google TPU、Intel Gaudi、华为昇腾、Rebellions NPU、Apple Silicon 等插件

模型覆盖

项目已原生支持 200+ 模型架构，包括 Decoder-only LLM（Llama、Qwen、Gemma）、MoE LLM（Mixtral、DeepSeek-V3、Qwen-MoE、GPT-OSS）、混合注意力与状态空间模型（Mamba、Qwen3.5）、多模态模型（LLaVA、Qwen-VL、Pixtral）、Embedding 模型（E5-Mistral、GTE、ColBERT）以及奖励/分类模型（Qwen-Math）。

快速开始

推荐使用 uv 安装：

uv pip install vllm
vllm download-kernels  # 预编译内核，加快启动速度

如需参与开发也可从源码构建。安装完成后建议参考官方文档的 Quickstart 与 Supported Models 列表。

贡献与反馈

项目欢迎任何形式的贡献与协作，具体流程参见贡献指南。反馈渠道如下：

• 技术问题与功能请求：GitHub Issues
• 用户交流：vLLM Forum
• 协作开发：Slack
• 安全披露：GitHub Security Advisories
• 商务合作：collaboration@vllm.ai

引用

若在学术研究中使用 vLLM，请引用相关论文：

@inproceedings{kwon2023efficient,
  title={Efficient Memory Management for Large Language Model Serving with PagedAttention},
  author={Woosuk Kwon and Zhuohan Li and Siyuan Zhuang and Ying Sheng and Lianmin Zheng and Cody Hao Yu and Joseph E. Gonzalez and Hao Zhang and Ion Stoica},
  booktitle={Proceedings of the ACM SIGOPS 29th Symposium on Operating Systems Principles},
  year={2023}
}