LiteLLM
AI 開発プラットフォーム · モデルAPI・推論 フリーミアム -- オープンソースでセルフホスト完全無料、企業向けにSSOや監査プラン提供

LiteLLM

100以上のLLMを OpenAI 互換形式で呼び出せるオープンソースプロキシとロードバランサー。

ユーザー高評価率 100%
27 件の評価

無料枠と利用ルール

オープンソース版は社内サーバーや Kubernetes に完全無制限で自社導入可能。

機能の概要と特徴

LiteLLM は100種類以上のAIモデルを OpenAI と同一のリクエスト形式で呼び出せるオープンソースプロキシです。Anthropic、AWS Bedrock、Azure、Google Vertex、ローカル Ollama などの差異を完全に吸収します。プロジェクトごとの仮想キー発行、トークン消費予算の上限設定、ロードバランス、自動フォールバックなど、本番運用に必要な機能を網罗しています。

インターフェース実機プレビュー

🔒 https://www.litellm.ai
LiteLLM interface screenshot

実機検証レビュー メリットとデメリット

主なメリット

  • ✓ 完全オープンソースで導入が容易、コード2行でバックエンドのAIプロバイダーを切り替え可能
  • ✓ 厳格な予算上限管理とレートリミット機能により意図せぬ高額請求を確実に防止
  • ✓ マルチクラウドや冗長環境にまたがる柔軟なロードバランシングと重み付け設定

注意点・制限事項

  • ✕ 大規模な同時アクセスを自社処理する場合は Redis や PostgreSQL のインフラ管理が必要
  • ✕ 一部のマイナーモデルに特有の独自パラメータは設定ファイルでの個別マッピングを推奨

実際に試してみませんか?

下のボタンから公式サイトを開いてすぐにご利用いただけます。

開く LiteLLM ↗

関連する類似ツール

💬 ディスカッション

GitHub Powered