既存のあらゆるStable Diffusion微調整モデルを、追加学習なしで滑らかなアニメーション動画生成モデルへと拡張する画期的技術。
モーションモジュール(Motion Module)の重みと推論コードがGitHubで完全公開。ComfyUIやWebUIで無制限に無料利用可能。
AnimateDiffは、生成AIの歴史において動画生成の民主化を一気に加速させた金字塔的オープンソース技術です。それまで、静止画を生成するStable Diffusionモデルを動画化するには、スタイルごとに膨大なコストをかけて最初から学習し直す必要がありました。香港中文大学の研究者らは、既存の画像生成モデルの重みを完全に固定(フリーズ)したまま、時間軸の動きだけを学習させた「Motion Module(モーションモジュール)」を外付けする画期的な手法を考案しました。これにより、Civitai等で共有されている何万種類ものアニメ調、リアル写実調、水彩画調のSD 1.5 / SDXLカスタムモデルが、一切の再学習なしでそのまま高品質なアニメーション動画生成ツールへと進化。ComfyUIやControlNetと組み合わせることで、プロのアニメーション制作パイプラインの中核として世界中で使われています。