经典开源单图驱动数字人基座,通过音频输入即可让单张静态人像呈现生动的 3D 头部摆动与口型播报。
西安交大联合腾讯团队开源,无需云端按分钟计费,支持音频驱动 2D 单图生成逼真 3D 头部姿态与自然说话播报视频。
SadTalker 是由西安交通大学与腾讯 AI Lab 联合开源的里程碑式音频驱动单图肖像动画生成算法(CVPR 2023 收录)。在传统的音频驱动单图生成工具中,大多数算法由于过度依赖简单的 2D 变形,导致生成的人物往往头部完全僵硬固定,仅有下巴机械地上下开合,缺乏真实人类在讲话时自然的重心点头、侧头与身体微晃动。SadTalker 创新性地引入了 3D 稠密形变模型(3DMM)作为中间媒介,利用音频信号分别推断出高维度的 3D 头部姿态(Head Pose)与面部表情系数(Exp Coeffs),再通过神经渲染器将逼真的三维动作投影回二维图像中。这一突破性设计让仅凭一段几秒钟的普通录音与一张单人证件照,就能生成如同真人出镜播报般的自然数字人视频,并被广泛封装为 Stable Diffusion WebUI 插件与各类商业虚拟人系统的底层驱动核心。