PagedAttention技術により超高スループットと低遅延を実現した、業界標準のオープンソースLLM推論基盤。
Apache 2.0ライセンスの完全無料オープンソース。クラウドや自前のGPUクラスタ上でライセンス費用なしで運用可能。
UCバークレー発の革新的なオープンソースLLM推論・サービングエンジン。PagedAttentionアルゴリズムによりKVキャッシュのメモリ浪費を徹底的に排除し、従来のHugging Face標準推論と比較して最大24倍ものスループット向上を実現。OpenAI互換APIサーバーとして即座に運用できます。