革命性开源动画运动模块,让任意已微调的 Stable Diffusion 静态文生图大模型生成流畅连贯动态视频。
在 GitHub 开源全部运动适配器(Motion Module)权重与推理代码,支持在 WebUI 及 ComfyUI 中零成本本地运行。
AnimateDiff 是生成式 AI 发展史上里程碑式的开源动画驱动框架。在 AnimateDiff 诞生之前,要将静态的文生图模型(如 Stable Diffusion)转化为视频模型,往往需要针对特定模型耗费数百万美元重新训练,且不同动漫、写实风格的微调大模型无法通用。香港中文大学研究团队开创性地提出了“即插即用运动模块”(Motion Module)理念:通过冻结原有静态文生图模型的图像权重,仅在大规模视频数据集上训练一个通用的时间注意力运动模块。这意味着,全球开源社区中数以万计的动漫、真人写实、国风水墨、赛博朋克等已有的 SD 1.5 和 SDXL 模型,无需任何再次微调,只需外挂 AnimateDiff 运动模块,就能立即一键生成帧率顺滑、画面风格完全保留的连贯 2D/3D 动画短片。结合 ControlNet 与 Prompt Travel 提示词演化,AnimateDiff 彻底成为了 ComfyUI 视频工作流不可动摇的基石。