자체 LPU 칩셋 기반의 초고속 LLM 추론 클라우드 플랫폼, 초당 수백 토큰의 압도적인 처리 속도와 초저지연 제공
결제 정보 입력 없이 즉시 개발자 무료 티어 사용 가능, 높은 분당 요청수 및 토큰 처리 한도 제공
Groq 은 자체 개발한 언어 처리 장치 LPU 아키텍처를 기반으로 오픈소스 모델 추론 인프라를 혁신한 플랫폼입니다. 초당 수백 토큰에 달하는 경이로운 생성 속도와 즉각적인 첫 토큰 응답 속도를 자랑하며 다단계 에이전트 추론과 실시간 음성 상호작용의 지연 시간을 완전히 없애줍니다.