AniPortrait
AI 動画 · 動画生成 完全オープンソース / 無料

AniPortrait

音声や骨格ガイドから、極めて自然な顔の表情と首・上半身の物理的動きを生成する高品質ポートレートAIフレームワーク。

ユーザー高評価率 100%
41 件の評価

無料枠と利用ルール

Tencentの研究チームがコードとモデルを完全無償公開。音声やポーズ骨格から写真の顔と上半身を自然にアニメーション化。

機能の概要と特徴

AniPortraitは、Tencentの研究チームが大学と共同で開発しオープンソース化した、高品質なポートレートアニメーション生成フレームワークです。単に写真の口元を動かすだけの旧世代ツールとは一線を画し、AniPortraitは拡散モデル(Diffusion Model)と時間的アテンションを駆使して、静止画から生命感に満ちた人物アニメーション動画を生成します。まず音声信号から3D顔面ランドマークと頭部姿勢を抽出し、続いて画像生成拡散モデルが滑らかな動画へとレンダリング。正確な口唇同期はもちろん、発話に連動した自然な首の傾きやまばたき、肩や上半身の微細な呼吸動揺までリアルに表現します。音声による自動発話だけでなく、ポーズ骨格動画を用いた直接制御(Pose-driven)にも対応しています。

実機検証レビュー メリットとデメリット

主なメリット

  • ✓ 音声だけで動かすモードと、ポーズ動画で精密に制御するモードの2種類に対応した高い柔軟性
  • ✓ 拡散モデル(Diffusion)をベースとしており、肌のキメや光の質感を保ったままフリッカーのない動画を生成
  • ✓ コードと重みが完全公開されており、ComfyUIカスタムノードや自社システムへの組み込みが容易

注意点・制限事項

  • ✕ 拡散モデルによるフレームごとのノイズ除去処理を伴うため、ローカルGPUの計算負荷と生成時間がやや重い
  • ✕ 利用にはPythonやPyTorchの開発環境構築と、複数のベースモデル重みのダウンロードが必要

実際に試してみませんか?

下のボタンから公式サイトを開いてすぐにご利用いただけます。

開く AniPortrait ↗

関連する類似ツール

💬 ディスカッション

GitHub Powered