vLLM 高性能LLM推理引擎，支持大规模模型部署vLLM是一个高性能的大语言模型推理和服务引擎，采用革新的PagedAttention算法显著提高推理速度和内存效率。支持多种流行的开源模型如Llama、Vicuna、Alpaca等，提供兼容OpenAI的API接口，支持流式输出、并行采样等高级功能。