Meta 研发的超低延迟实时音视频交互数字人技术,将语音对话实时渲染为逼真生动的视频通话。
Meta AI 官方发布的技术博客与开源研究成果,提供完整论文阐述与演示范例。
Muse Realtime Avatar 是 Meta 前沿人工智能研究院推出的重大音视频生成突破。它彻底打破了过去数字人需要多秒预渲染、只能生成预制短片的局限,通过极简的多模态神经渲染网络,在端到端百毫秒级极低延迟内,将模型输出的实时音频流直接驱动生成对应的人脸表情、口型同步以及自然肢体晃动。这项技术标志着人机交互正式从传统的文本或纯语音通话,跃迁至真机实感的双向互动视频通话时代。