基于逆向强化学习的舰载机甲板调度优化方案生成方法

针对计算机辅助指挥调度舰载机甲板作业的决策过程无法脱离人参与这一特点,引入基于逆向学习的强化学习方法,将指挥员或专家的演示作为学习对象,通过分析舰载机的甲板活动,建立舰载机甲板调度的马尔可夫决策模型(MDP)框架;经线性近似,采用逆向学习方法计算得到回报函数,从而能够通过强化学习方法得到智能优化策略,生成舰载机甲板调度方案。经仿真实验验证,本文所提方法能够较好地学习专家演示,结果符合调度方案优化需求,为形成辅助决策提供了基础。     

基于元深度强化学习方法的智能博弈决策模型研究

针对陆军装甲分队博弈对抗决策问题,在分析深度强化学习方法在构建智能博弈对抗决策模型适用性基础上,对基于马尔科夫决策过程的陆军装甲分队博弈对抗过程模型进行了形式化描述,提出了基于元深度强化学习的博弈对抗决策模型,给出了分队战术平台下基于元深度强化学习的智能博弈对抗策略生成与优化框架.研究成果可为智能博弈对抗问题的解决提供一种思路.     

基于生成对抗网络的多智能体对抗仿真建模方法

多智能体对抗仿真建模技术在军事上具有重要作用,其中强化学习深度增强网络(DQN)是重要的建模技术.随着体系对抗建模中环境输入信息及智能体数量的增加,DQN的复杂性不断增长,而单纯采用强化学习技术只能通过极度稀疏的对抗胜负结果提供反馈进行训练,模型训练的收敛速度是一个难题.探讨在多智能体对抗建模中采用基于生成对抗网络(G...     

基于智能反射面辅助的无人机主动监听优化方法

针对可疑用户可能利用无线通信危害公共安全的问题,通过智能反射面和无人机组合的方法来帮助合法监视器监听可疑链路。首先,考虑了无人机与地面用户以及地面用户之间复杂的信道交互,构建了一个合法监视器监听速率最大的优化问题。其次,为了解决这个复杂的非凸优化问题,采用深度强化学习技术,将无人机的轨迹规划和智能反射面的相移变化问题建模为马尔可夫决策过程,设计了相应的奖励函数,并基于最大熵的深度强化学习算法实现无人机和智能反射面相移设计的联合优化。最后,从仿真结果看,与无智能反射面的优化方案相比,有智能反射面的优化方案不仅提高了合法监视器的监听速率,还降低了无人机的能耗,另外智能反射面反射单元的不同数量也会对监听速率产生影响。同时,相较于近端策略优化,基于最大熵的深度强化学习算法的优化策略拥有更稳定的训练过程和更快的收敛速度。     

基于逆强化学习的空战态势评估函数优化方法

为提高无人作战飞机(UCAV)自主决策效能,提出基于逆强化学习的空战态势评估函数优化方法。以现有的正例与反例两类空战数据为样本训练一个RBF网络,采用逆强化学习得到不同态势下的态势值,实现了对现有空战数据的知识提取;利用Sigmoid函数的压缩作用,降低了整体态势值,加快了UCAV学习的收敛速度;采用自适应粒子群算法求解优化了态势评估函数中的权重参数,提升了对复杂空战态势的适应能力;仿真结果表明该方法能够优化态势评估函数,提高机动决策的收敛速度,在UCAV自主决策中具有一定现实意义。     

联合战役兵棋AI体系框架设计及关键技术分析

深度强化学习在游戏智能决策领域取得了令人瞩目的突破。多智能体深度强化学习、分层深度强化学习等领域的研究工作正将深度强化学习研究引向深入。由于联合战役兵棋博弈复杂的问题构成难以仅依靠深度强化学习方法解决,因而需要将人的知识经验有机融入强化学习过程中。对深度强化学习算法进行综合分析,并系统总结梳理联合战役兵棋AI的军事运用需求,在此基础上设计联合战役兵棋AI的体系框架并就框架中的相关技术进行探讨。     

2023年深度学习技术主要发展动向分析

深度学习已成为人工智能领域的研究热点和主流发展方向之一,为诸多重要应用领域带来了革命性的进步。对2023年深度学习技术热门领域的主要发展动向进行了综合评述。首先介绍了深度学习技术发展现状,其次探讨了深度学习技术的军事应用任务和挑战,最后盘点了深度学习技术的未来重点发展方向。综述表明,大语言模型是深度学习领域在2023年最突出的亮点,世界模型框架下的自监督学习技术、强化学习框架下的人工智能智能体技术等也呈现加速发展态势;环境恶劣与强干扰复杂条件下的高鲁棒性深度学习、面向实时流数据高效处理与内在逻辑关联的深度学习、面向多变作战场景自主决策与快速决策的深度学习、面向跨域数据协同感知与协同推理的深度学习等,是深度学习技术未来重要的发展方向。     

2022年深度学习技术主要发展动向分析

深度学习正逐渐成为新一代人工智能最核心的技术之一。对2022年深度学习热门领域的主要发展动向进行了综合评述。首先,介绍小数据小样本深度学习研究领域的最新进展;其次,探讨量子计算与深度学习的融合路径;然后,概述强化学习对通用智能的推动作用;最后,盘点深度学习在多模态学习方向的进展。综述表明,面向小数据、小样本的深度学习技术正在引领深度学习向自监督方向不断迈进,深度学习与其他先进计算范式（例如量子计算等）深入融合趋势愈发明显,强化学习在一定程度上具备解决复杂问题的通用智能,多模态深度学习技术已迎来关键性突破。     

基于微分平坦的高超声速滑翔飞行器轨迹规划

针对高超声速滑翔飞行器再入轨迹规划问题,提出了一种基于微分平坦理论的三自由度轨迹生成方法。在分析纵向运动简化模型的微分平坦属性基础上,将纵向参考轨迹规划问题映射到平坦输出空间,消除微分动力学约束的同时降低系统设计的维数,进而提高求解效率;采用全局插值多项式参数化平坦输出函数,将问题转换为非线性规划问题求解;设计比例-微分反馈控制律跟踪纵向参考轨迹,同时采用航向角误差走廊控制侧向运动,实现三自由度轨迹生成。仿真分析表明所提出的方法能够较快生成满足多种约束且性能优化的飞行轨迹。     

基于非线性最优反馈控制的远程拦截闭环制导

利用非线性最优反馈控制和伪谱轨迹快速重构技术,设计了一种有限推力空间远程拦截自适应闭环制导方法。首先建立了有限推力远程拦截最优制导问题模型,并给出了适用于该问题的非线性最优反馈控制求解原理。然后,将空间变轨动力学模型特点和伪谱法相结合,设计了基于状态量缩减的计算效率改进策略以提高轨迹优化的实时性。基于改进伪谱法进行连续轨迹快速重构,利用开环最优解形成闭环反馈,从而保证制导指令的实时更新,并通过引入控制逻辑对制导算法进行改进。时间最短远程拦截仿真表明,该闭环制导方法在保证任务指标最优性的同时,可以有效抑制J2摄动和计算误差的影响,具有较高的制导精度、自适应性和鲁棒性。     

基于不完全测量数据的飞行器轨迹参数估计

提出基于稀疏优化的轨迹参数估计新方法,通过降低参数空间的维数改善模型的病态性。利用B样条函数实现轨迹参数的稀疏表示,根据轨迹参数与测量数据的关系建立估计轨迹参数的稀疏表示寻优模型,采用高斯牛顿法获得模型的解。寻优模型中待估参数的数量取决于样条节点数,利用样条函数的高阶导数在节点处的不连续性建立了选取样条节点的稀疏优化模型,采用凸优化方法求解该模型,实现样条节点数的最小化。仿真结果表明,稀疏优化方法能够大幅度提高不完全测量段落轨迹参数的估计精度。     

多约束强化学习最优智能滑翔制导方法

为提升复杂飞行任务下滑翔制导的自主性,提出一种基于最优制导与强化学习的多约束智能滑翔制导策略。引入三维最优制导以满足终端经纬度、高度以及速度倾角约束。提出基于侧向正弦机动的速度控制策略,研究考虑机动飞行的终端速度解析预测方法。针对速度控制中机动幅值无法离线确定的问题,研究基于强化学习的智能调参方法。该方法基于终端速度设计状态空间,以机动幅值设计动作空间,设计综合终端速度误差与滑翔制导任务的回报函数,采用Q-Learning实现机动幅值的智能调整。仿真结果表明,智能滑翔制导方法能够高精度满足终端多种约束,并能有效提升复杂任务下的自主决策能力。     

生成式对抗网络在SAR图像处理中的应用综述

合成孔径雷达自动目标识别技术是SAR图像处理领域的研究热点,但数据样本不足的情况导致SAR-ATR应用研究受到局限。传统扩充SAR数据集的图像仿真技术模型复杂、计算量大,生成图像不够逼真。生成式对抗网络GAN不需要目标先验信息,可以直接从真实图像数据中生成逼真的图像,具有低损耗和端到端的优点,因此相较于传统方法其更适用于小样本SAR数据高质量扩充。围绕GANs在SAR图像处理中的研究应用展开叙述,介绍了获取目标SAR图像的方法,包括传统的仿真技术和基于深度学习的GANs技术;从目标图像和场景图像等2个方面介绍了GANs训练的常用SAR数据集;针对不同数据集的应用场景,重点介绍了GANs网络在目标SAR图像生成、SAR超分辨率重建、SAR和光学影像融合等3个方面的最新研究进展;最后,结合深度学习和SAR目标特性,给出了GANs网络在SAR图像应用方面的后续发展建议。     

基于深度强化学习的作战概念能力需求分析

作战能力需求分析是作战概念开发过程中的关键环节,在形式化描述作战概念能力需求分析问题的基础上,通过定性与定量结合,设计了一种基于深度强化学习的作战概念能力需求分析方法。该方法通过模拟仿真实验,获取高可信度的仿真小样本数据集;基于经验数据构建作战概念的代理模型,并以高可信度仿真数据集为输入,应用多目标优化算法对代理模型进行优化训练;最后,将训练得到的代理模型与深度强化学习框架进行交互寻优,实现作战概念能力需求的反向探索。选取“超越式登陆”为实例进行验证,实验结果表明方法可行。     

基于深度强化学习的兵棋推演决策方法框架

针对兵棋推演的自动对抗问题,文章提出基于深度学习网络和强化学习模型来构建对抗策略。文章结合深度强化学习技术优势,立足多源层次化的战场态势描述,提出面向智能博弈的战场态势表示方法;将作战指挥分层分域的原则同即时策略游戏中的模块化和分层架构相结合,提出一种层次化和模块化深度强化学习方法框架,用于各决策智能体与战场环境交互的机制以及对抗策略的产生;为满足实际作战响应高实时特点,提出压缩的深度强化学习,提升模型输出速度;为改善对不同环境的适应性,提出利用深度迁移学习提升模型泛化能力。     

监控视频运动目标的频繁轨迹模式挖掘

运用数据挖掘的方式分析运动轨迹数据在目前可以说是一种尝试。基于传统数据挖掘方法Apriori的思想,提出了一种监控视频运动目标的频繁轨迹模式挖掘算法。首先以特征点表示连续的运动目标轨迹,然后设计了一种轨迹相似度测量机制,最后基于相似度测量获得的轨迹段频率,将Apriori挖掘算法应用到2D运动轨迹数据,从中发现频繁轨迹隐含的一些感兴趣模式。实际的和人工生成的轨迹数据实验表明了算法的正确有效性。     

信号处理与深度学习硬件加速的一致性计算结构

在计算需求层面对多种典型信号处理算法与深度学习算法进行了分析与模块化分解,提取了两类应用共有的且适合并行硬件加速的计算模块,提出了信号处理与深度学习的一致性计算模型,并基于一致性计算模型设计了控制与计算分离的层次化处理单元与阵列化计算结构。通过对不同应用计算过程的软件定义能够实现信号处理与深度学习的一致性硬件加速计算,基于Zynq计算平台从重构效率与计算性能两个方面对一致性计算模型与计算结构进行了验证,结果表明：基于一致性计算模型的软件定义可重构计算结构,具有较高的计算性能与重构效率。     

J2摄动下卫星编队重构的多脉冲轨迹优化

针对考虑J_2摄动的椭圆参考轨道的编队重构问题,以消耗燃料最少为目标函数,基于高斯变分方程研究编队重构的多脉冲轨迹优化方法。推导考虑J_2摄动和轨道面内外耦合的轨道要素偏差线性动力学方程,采用遗传算法和序列二次规划结合的混合算法对总的速度增量进行优化。数值仿真表明该混合算法有效,可以高效地得到可行解。由于考虑了J_2摄动和椭圆参考轨道,该算法对航天任务中的轨迹优化具有一定的参考意义。     

基于深度强化学习的舰艇空中威胁行为建模

随着武器装备智能化发展的速度加快,传统武器装备的训练方法已经无法满足大规模现代战争的训练需求。在近十年中深度强化学习等人工智能方法在棋类以及电子竞技游戏中取得了极大突破,证明了人工智能方法在面对大搜索空间博弈问题的优势,能够有效解决军事对抗问题中的形势预判和临机调整问题。基于此背景,依托海军舰艇对空方面作战,开展了深度强化学习的方法研究。首先通过并行场景建模技术以及空中威胁决策行为建模技术实现深度学习模型的构建,之后通过单机突防场景的对抗迭代学习,得到收敛的突防策略。验证了深度强化学习方法在空中威胁行为构建场景的可行性,为后续深入开展编队联合防空训练场景构建提供支撑。     

基于深度强化学习的无人战车自主行为决策

针对高动态强对抗战场环境下,无人战车面临的自主行为决策问题,分析了未来陆战场无人战车实际作战需求,构建了基于马尔可夫决策过程的自主行为决策模型,提出了一种深度强化学习结合行为树的方法,利用行为树的逻辑规则与先验知识降低强化学习问题的难度,保证收敛性和鲁棒性,同时使行为决策模型具有学习能力.构建典型作战场景,验证深度强化学习结合行为树的无人战车自主行为决策方法的有效性.