基于眼动追踪和触觉反馈的人-多机器人班组交互系统

针对在动态复杂、非结构化的场景中缺乏自然、高效人机交互方式的问题，提出了一种基于眼动追踪和触觉反馈的人-多机器人班组交互系统，用于管理由多机器人和人组成的团队。该系统利用混合现实头盔在现实世界中叠加虚拟交互界面，操作员通过基于凝视信号的非语言注意力感知的输入方法进行人机交互指令的输入，进而控制多机器人进行协同运动，同时操作员通过振动和挤压2种触觉反馈模态来感知多机器人系统编队队形的尺寸变化与编队完成状态。为了验证人机交互系统的有效性与可行性，设计了触觉反馈实验与人-多机器人班组交互系统实验，实验结果表明：所提出的基于眼动追踪和触觉反馈的人机交互系统能有效控制多机器人系统进行编队，指令执行成功率达93.3%,与仅通过视觉反馈相比，在有触觉反馈的情况下操作员可以使用更少的时间完成多机器人状态感知，交互效率提高了14.55%。