100以上のLLMを OpenAI 互換形式で呼び出せるオープンソースプロキシとロードバランサー。
オープンソース版は社内サーバーや Kubernetes に完全無制限で自社導入可能。
LiteLLM は100種類以上のAIモデルを OpenAI と同一のリクエスト形式で呼び出せるオープンソースプロキシです。Anthropic、AWS Bedrock、Azure、Google Vertex、ローカル Ollama などの差異を完全に吸収します。プロジェクトごとの仮想キー発行、トークン消費予算の上限設定、ロードバランス、自動フォールバックなど、本番運用に必要な機能を網罗しています。