SadTalker
AI 動画 · アバター・口パク 完全オープンソース / 無料

SadTalker

音声を入力するだけで、たった1枚の人物写真から3Dの自然な首振り動作とリップシンクを備えたトーク動画を生成する名作モデル。

ユーザー高評価率 100%
23 件の評価

無料枠と利用ルール

西安交通大学とTencentの共同研究により完全オープンソース化。音声ファイル1本と写真1枚から自然な3D頭部運動と発話動画を生成。

機能の概要と特徴

SadTalkerは、西安交通大学とTencent AI Labの研究チームが開発し、世界的なトップ学会CVPR 2023に採択された記念碑的オープンソースAIです。従来の静止画発話モデルは、2Dの画像変形に頼っていたため、頭部が固定されたまま口だけがパクパク動く極めて不自然なものが大半でした。SadTalkerは、音声信号から3DMM(3次元変形モデル)の表情パラメータと頭部の3次元回転・傾き姿勢(Head Pose)を別々に予測する革新的アプローチを採用。音声の抑揚に合わせて首を傾げたり、相槌を打つように頷きながら自然に語りかける超リアルなトーク動画を、1枚の写真と音声データから完全自動で生成します。Stable Diffusion WebUIの拡張機能としても世界中で広く利用され、自作デジタルヒューマンの基礎として不動の地位を築いています。

実機検証レビュー メリットとデメリット

主なメリット

  • ✓ 3D姿勢モデルを活用し、首振りや頷きといった自然な頭部の立体運動を音声に合わせて自動付与
  • ✓ 必要なのは人物写真1枚と音声ファイル1本だけという圧倒的な手軽さ
  • ✓ Stable Diffusion WebUIやComfyUIの拡張機能として世界中で標準的に利用可能

注意点・制限事項

  • ✕ 4Kなどの超高解像度で利用する場合、首元や歯の質感を鮮明に保つためにGFPGAN等の高画質化処理との併用が推奨される
  • ✕ 極端に早口なラップや叫び声のような特殊な音源では、口の開閉タイミングに若干のズレが生じる場合がある

実際に試してみませんか?

下のボタンから公式サイトを開いてすぐにご利用いただけます。

開く SadTalker ↗

関連する類似ツール

💬 ディスカッション

GitHub Powered