로컬 환경에서 거대언어모델 추론 처리량을 극대화하고 VRAM 소모를 최적화하는 엔진.
자유로운 오픈소스 라이선스로 개인 및 엔터프라이즈 환경에서 완전 무료 배포 지원.
Tensward 는 개인용 워크스테이션이나 엣지 디바이스에서 고성능 오픈소스 거대언어모델을 원활하게 구동할 수 있도록 돕는 추론 가속 엔진입니다. 일반 소비자용 그래픽카드나 애플 실리콘 환경에서 대규모 파라미터 모델을 로드할 때 발생하는 VRAM 부족 현상과 느린 생성 속도를 근본적으로 개선합니다. Tensward 는 연산 커널 레벨에서 양자화 텐서 로더와 페이징 기반 KV 캐시 메모리 관리를 최적화했습니다. 정밀한 이기종 메모리 계층형 오프로드 기술을 통해 비디오 메모리 점유율을 크게 낮추면서도 초당 토큰 생성 속도를 수배 이상 향상시킵니다.