오디오 음성 입력만으로 정적 인물 사진 1장을 3D 고개 회전과 자연스러운 입모양 발화 영상으로 변환하는 대표 오픈소스 모델.
시안교통대 및 텐센트 연구팀이 오픈소스로 공개, 단일 사진 1장과 오디오 음성만으로 3D 헤드 포즈와 자연스러운 말하는 비디오 생성.
SadTalker는 시안교통대학교와 텐센트 AI Lab(Tencent AI Lab)이 공동 개발하여 최고 권위의 컴퓨터 비전 학회 CVPR 2023에 발표된 기념비적인 오디오 기반 디지털 휴먼 생성 오픈소스 모델입니다. 기존의 단일 사진 발화 알고리즘은 2D 와핑에 의존하여 머리는 허공에 얼어붙은 채 턱만 기계적으로 위아래로 움직이는 부자연스러운 한계가 있었습니다. SadTalker는 3DMM(3차원 안면 모핑 모델)을 중간 매개체로 도입하여 음성 신호로부터 3차원 고개 움직임(Head Pose)과 얼굴 표정 계수를 독립적으로 추출해 신경망으로 렌더링합니다. 그 결과 평범한 증명사진이나 일러스트 1장에 음성 파일만 넣으면 마치 실제 사람이 카메라 앞에서 고개를 끄덕이고 표정을 지으며 말하는 듯한 역동적인 비디오가 완성됩니다.