工业级高吞吐低延迟开源 LLM 推理与服务部署引擎,显著降低显存占用与服务成本。
完全开源,自由部署于各类云计算或本地 GPU 集群,零软件授权费用。
vLLM 是当今全球开源大模型高并发推理与模型服务部署的事实标准引擎。由 UC 伯克利研究团队领衔研发,其核心首创了 PagedAttention 显存分页管理算法,将注意力键值 KV Cache 内存浪费降至几乎为零,推理吞吐量相比传统 Hugging Face 原生推理提升多达 24 倍,全面兼容 OpenAI API 规范。
点击下方按钮前往官方平台立即开启探索。