わずか1行のコードでAPI利用コスト、レイテンシ、キャッシュ制御を実現するオープンソースLLM可観測性・ゲートウェイ基盤。
クラウド無料プランで毎月10万件のリクエスト監視が可能。オープンソース版はDockerで自社サーバーに完全無料で導入可能。
エンドポイントのBase URLを書き換えるだけで導入できるオープンソースのLLM監視・プロキシプラットフォーム。リクエストごとのトークン消費量や費用、応答遅延を克明に可視化し、スマートキャッシュによってAPIコストの削減とレスポンス高速化を同時に実現します。