기존의 맞춤형 Stable Diffusion 이미지 생성 체크포인트를 추가 재학습 없이 부드러운 애니메이션 동영상 모델로 전환하는 오픈소스 모션 모듈.
GitHub에 모션 모듈(Motion Module) 가중치와 파이프라인 전면 공개, ComfyUI 및 WebUI에서 무료 무제한 구동 가능.
AnimateDiff는 생성형 AI 오픈소스 생태계에서 이미지 생성을 동영상 제작으로 도약시킨 역사적인 모션 어댑터 프레임워크입니다. 이전에는 Stable Diffusion과 같은 정적 이미지 모델을 비디오 생성기로 바꾸려면 막대한 비용과 시간을 들여 스타일별로 처음부터 재학습해야 했습니다. 홍콩중문대 연구팀은 기존 이미지 체크포인트의 가중치를 고정하고 시간축의 움직임만을 전담 학습하는 플러그앤플레이 방식의 "모션 모듈(Motion Module)"을 최초로 제안했습니다. 이로 인해 애니메이션, 실사, 수묵화, 사이버펑크 등 커뮤니티에 공개된 수만 개의 기존 SD 1.5 및 SDXL 모델이 추가 학습 없이 모션 모듈 결합만으로 부드러운 프레임의 연속 애니메이션 비디오를 즉시 생성할 수 있게 되었습니다. ComfyUI, ControlNet, IP-Adapter와 결합되어 전 세계 크리에이터들의 핵심 동영상 제작 엔진으로 자리잡았습니다.