임의의 오디오 음성에 맞춰 실제 영상 속 인물의 입술 움직임을 픽셀 단위로 정확하게 재합성하는 립싱크 분야의 표준 오픈소스 모델.
GitHub에 사전 학습 가중치와 전문가 립싱크 판별기 코드 전면 공개, 임의의 오디오 음성을 모든 인물 영상의 입모양에 완벽 정렬.
Wav2Lip은 인공지능 영상 립싱크(Lip-Sync) 기술 분야에서 전 세계 연구진과 산업계가 표준으로 채택한 독보적인 오픈소스 기반 모델입니다(ACM Multimedia 2020 발표). 영화 외국어 더빙이나 영상 번역 시, 실제 말하는 인물의 입술 움직임을 새로운 언어의 오디오에 맞춰 완벽하게 일치시키는 작업은 기술적으로 매우 까다로웠습니다. Wav2Lip의 핵심적인 기술적 돌파구는 "전문가 립싱크 판별기(Expert Lip-Sync Discriminator)"입니다. 방대한 음성-영상 데이터를 통해 음소와 입술 모양의 미세한 타이밍 불일치까지 정밀하게 감지하도록 훈련되어, 어떤 새로운 오디오 파일이 주어지더라도 대상 영상 속 인물의 입모양을 밀리초 단위로 정확하게 재합성합니다. 상반신 움직임이나 배경, 눈빛 표정을 그대로 유지하면서 입술 부위만 자연스럽게 치환해주어 글로벌 영상 번역 및 AI 더빙 기술의 초석이 되었습니다.