视频口型重同步的经典工业基座,精准将任意语音音频与视频人物口型进行像素级对齐。
在 GitHub 完全开源预训练模型权重与唇形判别器代码,支持将任意长音频与任意人物视频进行毫秒级口型贴合。
Wav2Lip 是现代 AI 视频口型同步(Lip-Syncing)领域公认的黄金标准开源基座模型(发表于 ACM Multimedia 2020)。在影视译制、外语配音替换以及虚拟数字人合成中,让视频中正在讲话的演员嘴形精准契合一段全新的音频配音,一直是计算机视觉领域的巨大难题。Wav2Lip 的革命性贡献在于构建了一个强大的“专家唇形同步判别器”(Expert Lip-Sync Discriminator):该模型经过海量音视频数据的严格预训练,能够以毫秒级的时间精度严格监督生成器对口型唇齿动作的微观形变。无论目标视频中的人物处于何种光照、头部以何种姿态晃动,Wav2Lip 都能将任意全新的语音输入无缝“缝合”到视频人物的嘴唇区域,并保持整段视频其余身体、背景与眼神的绝对稳定。市面上绝大多数商业级视频翻译、跨国同声传译与数字人换音产品,其底层算法架构均深深植根于 Wav2Lip 的开创性设计。