腾讯开源的高质量音频与肖像驱动框架,生成极高自然后续动作与面部肌肉物理形变。
腾讯联合科研团队开源,支持单张人像照片结合音频信号或动作骨骼生成超自然面部肌肉变形与高保真视频。
AniPortrait 是由腾讯游戏 AI 团队联合多所高校科研机构开源的前沿肖像动画生成框架。与以往仅能驱动静态面部下巴的简单算法不同,AniPortrait 深度攻克了“从静态人像生成高质感、高时间一致性人物动态”的核心技术难题。框架分为两个关键阶段:第一阶段利用自研的 Audio2Lmk 模块从音频输入中提炼出三维人脸关键点与密集骨骼网格;第二阶段将这些动态特征结合扩散模型(Diffusion Model)与时序注意力模块,不仅能够完美复刻语音中的每一个微妙音素发音口型,还能赋予人像极其自然的头部空间转动、呼吸节律与上半身肢体微动。此外,AniPortrait 还支持双重驱动模式——既可以通过纯音频(Audio-driven)驱动说话,也可以通过姿态视频(Pose-driven)精确控制面部表情与动作,为虚拟数字人、游戏剧情过场与 AI 电影创作提供了高保真开源基础。