基于眼动追踪和触觉反馈的人-多机器人班组交互系统

针对在动态复杂、非结构化的场景中缺乏自然、高效人机交互方式的问题,提出了一种基于眼动追踪和触觉反馈的人-多机器人班组交互系统,用于管理由多机器人和人组成的团队。该系统利用混合现实头盔在现实世界中叠加虚拟交互界面,操作员通过基于凝视信号的非语言注意力感知的输入方法进行人机交互指令的输入,进而控制多机器人进行协同运动,同时操作员通过振动和挤压2种触觉反馈模态来感知多机器人系统编队队形的尺寸变化与编队完成状态。为了验证人机交互系统的有效性与可行性,设计了触觉反馈实验与人-多机器人班组交互系统实验,实验结果表明：所提出的基于眼动追踪和触觉反馈的人机交互系统能有效控制多机器人系统进行编队,指令执行成功率达93.3%,与仅通过视觉反馈相比,在有触觉反馈的情况下操作员可以使用更少的时间完成多机器人状态感知,交互效率提高了14.55%。     

基于多模态数据融合学习网络的微弱目标群检测方法

微弱目标群检测是目标检测领域中的难点,随着传感技术发展使得基于多模态数据融合的目标检测方法成为可能.传统的方法常常关注于人工设计的多模态数据融合层面,一般采用信号级及决策级的融合,无法充分利用多模态内在融合特征.为此,为了充分利用深度卷积网络的内在多模态特征表达能力,提出一种端到端多模态数据学习融合网络,能够融合学习可...     

美国陆军官方网站多模态话语分析与军队形象建构

本文以Kress、Van Leeuwen和 Painter等学者的视觉语法理论为基础,从再现意义、互动意义和构图意义三个方面对美国陆军官方网站“相册”栏目进行多模态话语分析,挖掘网页的符号资源,探寻多模态语篇生成意义、传递信息和构建形象的具体机制。在此基础上,借助Halliday、Hasan、Bateman和Bhatia等学者的多模态语类分析理论,探究模态间的互动关系,分析网页的整体设计、语类特点和宣传手段等。研究发现,该网站通过象征意义、情感互动和显著性差异等手段,影响读者对美军的认知,引导读者对美军产生积极联想,从而回避现实问题,为美军塑造正面形象。在深入发掘网页的交际目的、结构潜势和互动机制的基础上,搭建多模态语类分析框架,揭示军事网站设计和社会文化背景的复杂关系,助力军队形象建设。     

虚拟现实技术探析

虚拟现实(Virtual Reality),简称VR或称灵境技术,实际上是一种可创建和体验虚拟世界(Virtual World)的计算机系统。此种虚拟世界由计算机生成,可以是现实世界的再现,亦可以是构想中的世界,用户可借助视觉、听觉及触觉等多种传感通道与虚拟世界进行自然的交互。它是以仿真的方式给用户创造一个实时反映实体对象变化与相互作用的三维虚拟世界,并通过头盔显示器(HMD)、数据手套等辅助传感     

多模态图像智能目标识别对抗攻击

基于深度学习模型的新一代智能化多模态(可见光/红外/雷达)图像识别系统已逐步在航空航天情报侦察、人机交互增强作战系统、无人作战平台自动图像目标识别以及多模复合图像末制导等多个军事场景中得到广泛应用.然而,由于深度神经网络模型在理论上存在不完备性和对抗脆弱性、多模态图像目标识别深度网络结构设计与优化在工程上存在迁移性等因...     

基于组件化指挥信息系统仿真验证技术

目前,指挥信息系统验证环境存在不同试验项目间或同一项目不同阶段的模型不能达到模块级共享,模型开发不规范、验证环境中的模型可信度不高,验证环境试验配置复杂等问题,基于组件化技术,设计了模块化、集成化、实时高效化、多模态的指挥信息系统仿真验证环境系统架构,详细描述了基于XML作战协议通用对接、基于内存数据库的数据解析与交互、指挥业务模型动态组合等关键技术,并给出了某个指挥信息系统的仿真验证环境的应用案例以及使用流程。该验证环境已经在多个项目中得到了成功应用。     

基于均值漂移交互多模型粒子滤波算法

针对交互多模型粒子滤波计算量大的问题,将视觉跟踪领域的均值漂移算法(Mean Shift)与交互多模粒子滤波(PF)算法相结合,该算法利用均值漂移算法在重采样之后将粒子收敛到靠近目标真实状态的区域内,在提高定位精度的同时减少所采用的粒子数,减少了算法的运行时间.通过被动跟踪仿真实例,同时使用均值漂移粒子滤波与传统粒子滤...     

某型飞机拦射过程再现与仿真系统设计

为了在同一平台上实现某型飞机拦射过程的再现和仿真,提出了拦射过程再现与仿真系统的设计方法.在硬件上,系统通过采用基于1553B总线和以太网的双总线结构,实现再现和仿真时的硬件资源共享;在软件上,系统通过自上而下的模块化设计,在各组成程序的模块层次针对再现和仿真进行独立的模块设计,实现再现和仿真功能的集成和软件资源的共享.目前该系统已应用于实际项目,运行效果良好.     

无人机多模态融合的城市目标检测算法

城市低空运用小型无人机检测车辆等城市目标正逐渐成为主流手段。针对目前存在的实际场景中可见光探测易受光照影响、无法夜间工作和红外探测目标边缘模糊,导致单模检测网络检测精度低的问题,提出了一种基于图像融合和深度学习网络的无人机多模态融合的城市目标检测算法：首先,基于DUT-VTUAV可见光-红外配准数据集和TIF图像融合算法,构建多模态融合数据集;其次,对比了现有YOLO(You Only Look Once)检测系列网络的检测精度、速度及参数量等性能参数,选择出最适合无人机端移动部署的轻量化网络YOLO v5n;最后,综合运用图像融合算法和目标检测模型,形成多模态融合检测算法。在车辆数据集上进行的对比实验表明：相对单模检测,所提出的算法的检测精度得到有效提升,mAP高达99.6%,且该算法可在0.3 s内完成一组可见光-红外图像的融合检测,具有较高的实时性。     

无人机警戒雷达仿真系统的建模与仿真

针对海面静止和移动目标的探测、感知、识别、成像等问题,建立了由数据/控制接口、人机界面及多个算法模块组成的无人机警戒雷达仿真系统。系统采用模块化方法对目标运动特性、环境特性和警戒雷达的功能特性进行建模与仿真,主要用于模拟现实装备中此类载荷的基本功能,从数字化仿真层面实现了无人机警戒雷达载荷功能的再现与性能测试,并能完成与指挥控制台之间的信息交互,同时系统具有很好的可扩展性,可以作为整个作战仿真系统的一部分,嵌入到更复杂的作战仿真系统中。     

多传感器式诱导维修系统的设计与实现

针对战场装备抢修中维修作业时间紧、任务重、难度大和专业维修人员少的问题,提出了多传感器式诱导维修系统体系结构,开发了一套基于增强现实技术的诱导维修系统。系统主要由5个模块构成。通过PST跟踪仪和基于无迹卡尔曼滤波的多传感器跟踪算法完成跟踪注册,结合语音和手势识别进行人机交互,通过构建无线通讯网络和实现数据分布式处理拓展了系统的适应性和实用性。以某型装备电磁铁更换为例,对系统功能进行了验证。实验对比说明了与纸制维修手册和普通移动终端相比,该系统能更为高效地指导维修人员完成维修任务。     

近界视景导航中森林场景加速绘制

作为近界视景导航中典型地物,三维几何树模型能提高虚拟场景视觉精度,增强场景真实感,但会导致大规模森林场景绘制效率降低,从而降低视景导航精度。为提高绘制效率以确保视景导航精度,并提高场景真实感,采用布告板云算法构建了基于视距的多分辨率树模型,针对算法在近界视景导航应用中存在的问题进行了改进。为进一步提高近界特别是贴地飞行时高动态视点下视景导航精度,根据有限视域、威胁区域以及视觉冗余等特点,提出了一种基于高动态视点的加速绘制算法。通过实验对比分析,算法大幅提高了场景绘制效率,增强了场景视觉质量,提高了虚拟场景导航精度。     

指挥控制中的多人多通道人机交互研究

指挥控制人机环境需要更加自然、高效并且支持协作的人机交互手段。在分析指挥控制中人机交互要素的基础上,提出了多人多通道人机交互概念模型和系统模型。基于该模型设计实现了原型系统,系统使用基于多点触摸的双手手势和语音两个通道实现态势和情报分析任务。通过实验和用户调查,验证了系统可以提高交互的自然性和高效性,对用户之间的协作工作效率也有改善,说明指挥控制中的多人多通道人机交互是有效的。     

船艇发动机虚拟维修中的场景优化技术研究

针对船艇发动机虚拟维修场景构建过程中模型的高逼真度和实时交互之间的矛盾,提出了降低场景复杂度的初期建模优化技术,以及模型合成后的全景优化技术。通过在发动机虚拟维修训练系统中的综合应用,有效地简化了模型的多边形网格,降低了场景的复杂度,提高了场景的生成速度。     

空战视景仿真系统通用框架研究

依据一个空战视景仿真系统的开发,系统分析了视景仿真系统的一般性规律和其管理框架。通过分析空战视景仿真系统的硬件、软件结构,着重提炼出不同的视景仿真系统的共性与特殊性。在软件设计过程中,对数据处理、实体管理和事件响应的设计,重视了设计模式的应用,将仿真系统的通用性、可拓展性与软件工程理论相结合,构建了一个可通用的,具有拓展性的视景仿真软件平台。视景仿真系统通用框架的研究,为设计更加灵活,更加适用的视景系统提供了理论基础;对于以后的视景仿真系统的设计,具有一定的参考价值。     

基于活动轮廓的机器人视觉伺服控制

提出了基于活动轮廓的视觉伺服控制方法。将活动轮廓和光流模型相结合用于运动物体图像的实时跟踪 ,以抽取物体图像的边缘信息 ,并以此信息控制摄像机的运动 ,达到机器人定位、跟踪等目的。该方法跟踪精度高 ,鲁棒性好 ,且满足实时跟踪的要求。实验结果表明了该方法的正确性和有效性。     

无人机先进地面站关键技术综述

具有沉浸显示、智能辅助、自然化人机交互等先进控制能力的新型无人机地面站已成为当前无人机控制领域的研究热点。为分析其中的技术脉络,系统性地梳理国内外一系列无人机先进地面站的功能要点及设计理念,在此基础上从无人机地面站指挥控制的观察—判断—决策—行动回路出发,归纳提炼了其技术体系构成,分析指出了其中的任务环境构建、战场态势沉浸式显示、智能化辅助决策和自然化人机交互等关键技术,并对各项技术的主要研究方法进行了深入剖析,还对无人机先进地面站目前存在的挑战和未来发展趋势进行了研判。该研究对新型地面站的研制具有指导和借鉴意义。     

柔软物体力触觉形变模型验证系统

为了验证柔性物体力-形变模型的合理性,构建了基于CC2531芯片的无线数据收发平台、力传感器测量平台和FALCON手控器位移测量平台的力-形变模型验证系统。以新鲜猪肝脏为实验对象,研究了弹性形变实验和穿刺实验的作用力与位移之间的关系;以力-形变测量数据为基础,进行了参数验证校调。仿真实验结果表明:模型中力-形变特性与实际测量值保持一致。该系统能广泛应用于柔性物体力-形变模型验证,对于促进力触觉虚拟医学仿真系统的发展具有重要意义。     

某雷达装备虚拟训练系统实现技术

从实际装备的特点出发,确定了虚拟训练系统的分布式实现模式.以该实现模式为基础,对系统软件结构框架、基于HLA/RTI的分布交互以及虚拟装备的人机交互等关键技术的实现进行了讨论,解决了雷达装备虚拟训练系统的系统集成环境构成、各仿真节点间的分布交互以及人机交互等问题,最后在虚拟训练系统上实现了雷达装备的开关机、跟踪以及故障维修等不同训练功能.     

武器装备虚拟维修训练系统设计

针对大型武器装备实装训练成本高,受场地天气影响大的特点,设计了一种基于unity驱动引擎的武器装备虚拟维修训练系统。场景模块采用3DMAX建模,并对虚拟对象设置复合碰撞器,完成对虚拟场景的构建;战技勤操作模块中,先对操作步骤分类,结合Petri网条件—事件模型,解决了虚拟环境下装备操作的标准流程生成问题;拆装训练模块中,采用割集法,结合单一约束解除原理,解决了虚拟拆装训练中拆装序列的生成问题;提出了基于层次分析法的横向评价模型和基于GAHP法的纵向评价模型,增强了对用户训练效果评价的全面性,并实现了纵向自适应评价;在系统中增加了半实物故障排除模块的设计,弥补了传统虚拟训练系统缺少此模块的问题。