多模态实时交互式数字人综述

多模态实时交互式数字人作为新一代人机交互的核心载体，正随着多模态大模型、AR（augmented reality）/VR （virtual reality），以及5G（5th-generation mobile communication technology）/6G（6th-generation mobile communication technology）等技术的快速发展，逐步从传统的单模态输入方式，演进为融合语音、视觉、动作乃至情感信号的多模态自然交互形式。数字人本身也经历了从非交互式虚拟形象到具备语义理解、情感感知与主动响应能力的智能体的转变。本文从发展脉络、关键特征与技术体系三方面系统梳理了这一进程：首先回顾了数字人由静态展示向多模态交互演进的轨迹，突出其在沉浸感、实时响应与情感共鸣能力上的提升；随后重点剖析了建模、实时驱动与渲染三大核心技术，涵盖3D高斯溅射（3D gaussian splatting）、神经辐射场（neural radiance fields，NeRF）隐式表征、多模态融合驱动及神经渲染等前沿手段，揭示了高保真视觉呈现与低延迟交互之间的技术权衡；进一步提出了多模态数字人的通用系统框架，划分为感知、融合、生成与拓展四个层次，并总结了语言生成、情感语音合成与表情驱动等关键模块间的协同机制。未来，数字人技术的发展将更加注重轻量化部署、跨模态一致性保障与情感共生智能的实现，有望在教育培训、医疗健康、文化娱乐及人机协作等场景中，提供更加自然、可信且富有温度的人机交互体验。