PagedAttention 기술을 통해 초고처리량과 저지연을 구현하여 서빙 비용을 획기적으로 낮춘 산업 표준 오픈소스 LLM 추론 엔진.
Apache 2.0 라이선스 기반의 완전 무료 오픈소스로 클라우드 또는 로컬 GPU 클러스터에 라이선스 비용 없이 자유롭게 구축 가능합니다.
UC 버클리 연구팀이 주도하여 개발한 글로벌 표준 고성능 오픈소스 LLM 추론 및 서빙 엔진입니다. OS의 가상 메모리 관리 방식에서 착안한 혁신적인 PagedAttention 기술을 통해 KV 캐시 낭비를 제거하고 기존 프레임워크 대비 최대 24배 높은 처리량을 발휘하며 OpenAI 호환 API를 제공합니다.