音声や骨格ガイドから、極めて自然な顔の表情と首・上半身の物理的動きを生成する高品質ポートレートAIフレームワーク。
Tencentの研究チームがコードとモデルを完全無償公開。音声やポーズ骨格から写真の顔と上半身を自然にアニメーション化。
AniPortraitは、Tencentの研究チームが大学と共同で開発しオープンソース化した、高品質なポートレートアニメーション生成フレームワークです。単に写真の口元を動かすだけの旧世代ツールとは一線を画し、AniPortraitは拡散モデル(Diffusion Model)と時間的アテンションを駆使して、静止画から生命感に満ちた人物アニメーション動画を生成します。まず音声信号から3D顔面ランドマークと頭部姿勢を抽出し、続いて画像生成拡散モデルが滑らかな動画へとレンダリング。正確な口唇同期はもちろん、発話に連動した自然な首の傾きやまばたき、肩や上半身の微細な呼吸動揺までリアルに表現します。音声による自動発話だけでなく、ポーズ骨格動画を用いた直接制御(Pose-driven)にも対応しています。