StepFun이 오픈소스로 공개한 130억 파라미터 엔드투엔드 멀티모달 음성 파운데이션 모델로, 고정밀 복제와 감정 제어 제공.
모델 가중치와 추론 코드가 GitHub 및 Hugging Face에 전면 오픈소스로 공개되어 로컬 무료 구축 가능
Step-Audio는 차세대 AI 연구소 StepFun이 독자 개발하여 완전 오픈소스로 공개한 130억(13B) 파라미터 규모의 엔드투엔드 멀티모달 음성 언어 모델입니다. 음성과 텍스트가 분리된 기존 구조를 탈피하여 통합 트랜스포머 아키텍처를 채택함으로써 음향 특징과 언어적 맥락을 한 번에 처리합니다. 단 한 번의 오디오 입력으로도 정밀한 제로샷 음색 복제 및 사투리 억양을 재현하며, 속삭임, 슬픔, 격양 등 복합적인 감정 상태를 자연어로 정밀 지시할 수 있습니다.