音声を入力するだけで、たった1枚の人物写真から3Dの自然な首振り動作とリップシンクを備えたトーク動画を生成する名作モデル。
西安交通大学とTencentの共同研究により完全オープンソース化。音声ファイル1本と写真1枚から自然な3D頭部運動と発話動画を生成。
SadTalkerは、西安交通大学とTencent AI Labの研究チームが開発し、世界的なトップ学会CVPR 2023に採択された記念碑的オープンソースAIです。従来の静止画発話モデルは、2Dの画像変形に頼っていたため、頭部が固定されたまま口だけがパクパク動く極めて不自然なものが大半でした。SadTalkerは、音声信号から3DMM(3次元変形モデル)の表情パラメータと頭部の3次元回転・傾き姿勢(Head Pose)を別々に予測する革新的アプローチを採用。音声の抑揚に合わせて首を傾げたり、相槌を打つように頷きながら自然に語りかける超リアルなトーク動画を、1枚の写真と音声データから完全自動で生成します。Stable Diffusion WebUIの拡張機能としても世界中で広く利用され、自作デジタルヒューマンの基礎として不動の地位を築いています。