Teleoperation of humanoid robots based on chiral mapping and vision-language model assistance

针对非结构化场景下人形机器人双臂精细操作面临的主从异构映射困难、操作员认知负荷高及遥操作数据难以直接复用于模仿学习等挑战，本文提出一种视觉语言模型（VLM）辅助的遥操作框架. 首先，基于群相似变换与手性共轭映射建立拟人化双臂重映射策略，复用单臂运动学模型实现左右臂统一控制；在灵巧手层面，将主端手势压缩为六维低维特征并映射至驱动指令，在保留抓握与对掌等精细操作意图的同时降低控制复杂度. 其次，为提升交互自然性，构建多模态认知辅助接口：基于大语言模型解析语音指令并切换任务模式，通过视觉语言模型生成动态引导线与区域增强标注，将三维空间关系转化为直观视觉提示；结合实时任务状态估计实现闭环语义辅助. 进一步地，设计面向模仿学习的结构化数据采集机制，在遥操作过程中自动感知任务阶段转换，封装语义变量与底层状态对齐的多模态数据流，构建可直接用于技能训练的专家数据集. 结合VR设备（Apple Vision Pro）在南科盘古（Nanke Pangu）人形机器人平台开展的实验中，所提框架在轴-孔装配、双臂协同搬运、物品交接及分拣等复杂任务中展现出良好的双臂协调性与交互自然性，显著提升了复杂场景下的任务执行效率，并为具身智能研究提供了高质量、语义一致的专家演示数据.