実写動画の人物の口元を、指定した別音声に合わせてピクセル単位で再合成・同期させる動画リップシンクの世界的金字塔。
GitHubで学習済みモデルと唇同期ディスクリミネータが無料公開。あらゆる音声ファイルと人物動画の口元をミリ秒単位で一致。
Wav2Lipは、動画のリップシンク(口唇同期)分野において世界中の研究者や産業界が基準として用いる歴史的名作オープンソースモデルです(ACM Multimedia 2020採択)。海外映画の吹き替えや多言語翻訳動画において、話者の口の動きを新しい言語の音声に完璧に一致させることは至難の業でした。Wav2Lipの最大の強みは、独自開発された「熟練リップシンク判別器(Expert Discriminator)」にあります。音声の発音タイミングと口元の開き具合のわずかなズレも逃さず検知して修正するため、どんな話速の音声であっても実写動画の人物の口元をミリ秒単位で完璧に同期させます。顔の角度が変わったり激しい身振りを伴う映像であっても、目や背景を一切歪ませることなく口元だけを精緻に再描画。現在商用化されている多言語翻訳吹き替えツールの多くが、このWav2Lipの構造をベースにしています。