오디오 및 인체 포즈 시퀀스를 기반으로 극도로 자연스러운 안면 근육 표정과 상반신 움직임을 생성하는 텐센트 오픈소스 프레임워크.
텐센트 연구팀이 오픈소스로 공개, 단일 사진과 오디오 또는 포즈 스켈레톤을 결합해 초실사 인물 동작 비디오 생성.
AniPortrait는 텐센트(Tencent) 연구팀이 학계와 공동 개발하여 오픈소스로 공개한 차세대 고품질 인물 애니메이션 합성 프레임워크입니다. 이전 세대의 발화 모델들이 안면 경계면의 떨림이나 부자연스러운 표정 왜곡을 보였던 것과 달리, AniPortrait는 2단계 확산 모델(Diffusion Model) 파이프라인을 통해 실사 영화 수준의 자연스러운 인물 동영상을 생성합니다. 오디오 신호로부터 3차원 안면 랜드마크와 고개 회전 궤적을 정밀 추출한 뒤, 디퓨전 모델이 시간적 일관성을 유지하며 렌더링합니다. 발음과 완벽히 일치하는 입모양뿐만 아니라 자연스러운 고개 끄덕임, 눈 깜빡임, 어깨의 미세한 움직임까지 복원하며, 오디오 구동 모드와 포즈 스켈레톤 영상 구동 모드를 모두 지원합니다.