단 한 줄의 코드로 대형 언어 모델 API 비용 추적, 지연시간 모니터링 및 캐싱을 지원하는 오픈소스 관측 플랫폼 및 프록시 게이트웨이.
클라우드 무료 플랜을 통해 매월 10만 건의 API 요청을 무료 모니터링할 수 있으며 오픈소스 코드로 Docker 자체 호스팅이 가능합니다.
기존 API 호출 코드의 Base URL만 변경하면 즉시 연동되는 개발자 친화적 오픈소스 LLM 관측 게이트웨이입니다. 단일 호출별 토큰 비용, 지연시간 세부 분석, 스마트 시맨틱 캐싱 및 API 호출 제한 기능을 제공하여 운영 비용을 획기적으로 줄여줍니다.