静止画1枚とガイド動画から、驚異的な精密さでリアルな表情・視線の動きをポートレートに再現する快手発のオープンソース技術。
Kuaishou(快手)研究チームがMITライセンスでコードと重みを完全無償公開。RTX 4090で秒間12fps超のリアルタイム推論を実現。
LivePortraitは、ショート動画大手Kuaishou(快手・KwaiVGIチーム)がオープンソースとして世界に公開し、爆発的な大反響を呼んだポートレートアニメーション技術の最高傑作です。従来の人物写真アニメ化ツールは、表情が不自然に引きつったり、視線が定まらなかったりする不気味の谷現象が大きな課題でした。LivePortraitは陰伏的キーポイント(Implicit Keypoints)を用いた革新的な制御手法により、静止画1枚とガイド役の動画から、頭部の自然な傾き、眉の微細な動き、生き生きとした瞳の視線移動、唇の滑らかな動きをミリ単位の精度でポートレートに転写します。実写の人物写真だけでなく、アニメイラスト、古典絵画、さらには犬や猫の顔まで自然に動かすことが可能。単一のRTX 4090で秒間12コマ(12fps)以上の超高速リアルタイム推論を実現し、目の開閉度や口の開口率を手動スライダーで微調整することもできます。