100개 이상의 LLM 을 OpenAI 표준 포맷으로 통합 호출하는 오픈소스 프록시 및 로드밸런서.
오픈소스 버전은 온프레미스 서버 또는 쿠버네티스 클러스터에 무제한 무료 구축 가능.
LiteLLM 은 100개 이상의 다양한 AI 모델을 OpenAI 표준 규격으로 일원화하여 호출할 수 있는 오픈소스 게이트웨이입니다. Anthropic, AWS Bedrock, Azure, Vertex AI, 로컬 Ollama 등 이종 모델 API 를 완벽히 호환합니다. 팀별 가상 API 키 발급, 실시간 예산 한도 설정, 부하 분산 로드밸런싱, 트래픽 속도 제한 등 상용 서비스에 필수적인 거버넌스 기능을 제공합니다.