统一采用 OpenAI 格式调用 100 多个大模型接口的轻量级开源代理与 SDK,内置限流与预算熔断。
开源社区版完全无限制自由部署在私有服务器或 Kubernetes 集群,尽享多模型统一负载均衡与成本控制。
LiteLLM 是企业级大模型应用架构中标准统一的通用接入网关。通过极简的 Python 库或轻量 Docker 代理服务,它能将 Bedrock、Azure、Vertex AI、Cohere 及本地 Ollama 等上百种异构 API 统一规范为标准的 OpenAI 接口契约。它自带企业级特性:支持按团队和项目发放虚拟 API 密钥、配置严格的花费预算熔断阈值、实施精确的速率限制并实现跨多个模型渠道的权重负载均衡。