海空跨域协同兵棋AI架构设计及关键技术分析

以深度强化学习为核心的智能博弈技术在游戏领域内的突破和进展为海空兵棋AI的研究提供了借鉴。智能体架构设计是需要解决的关键问题,良好的架构能够降低算法训练的复杂度和难度,加快策略收敛。提出基于随机博弈的海空跨域协同决策博弈模型,分析了相关的均衡解概念;在分析典型智能体框架基础上,针对海空兵棋推演决策博弈过程,提出基于多智能体分层强化学习的智能体双层架构,能够有效解决智能体间协作和维度灾难问题;从兵力协同、智能体网络设计、对手建模和训练机制共4个方面分析了关键技术。期望为海空兵棋AI设计实现提供架构指导。     

基于深度强化学习的智能对手自主空战决策技术

为提升空战训练对手的智能性与自主性,提升空战训练效果。针对空战战术训练智能对手自主空战决策问题,提出一种基于深度强化学习的智能体训练方法,采用最大熵强化学习（SAC）算法平衡策略探索与利用的优势,引入自博弈和多智能体联盟训练方法提升空战智能体策略的多样性和鲁棒性。针对一对一近距格斗空战场景建立智能博弈框架及奖励函数,仿真结果表明,基于零经验训练得到的智能体能够有效自主机动决策并实施近距导弹攻击,产生较好的战术效果,证明该方法在一对一近距格斗空战智能体训练中的有效性。     

基于综合势力图的态势估计方法

在AI兵棋对抗中,能够更全面地理解态势信息是AI棋手获胜的前提条件.提出了基于综合势力图的态势估计方法,阐述了势力图的原理和一般生成过程,提出基于综合势力图的态势分析框架;将AI兵棋的静态信息、经验信息和动态信息计算叠加形成综合势力图,在此基础上分析敌方位置、视野以及火力威胁等态势相关信息,得到态势估计结果,为AI决策提供信息支撑;基于AI兵棋推演平台进行内置规则AI和基于势力图的AI之间的对抗实验,实验结果表明该方法能够提升AI决策的准确性,提高AI在兵棋对抗中的胜率.     

基于AGENT的危机决策模拟问题求解框架研究

本文在分析危机决策对抗模拟特点的基础上 ,提出了基于双层黑板模型的危机决策对抗模拟问题求解框架 ,探讨了多智能体对各种不同类型知识模块的封装和组织 ,分析了态势推演问题求解框架和危机决策问题求解框架的结构和组成。     

嵌入式空战训练中虚拟智能对手的生成研究

研究探讨了嵌入式空战对抗训练系统中虚拟智能对手的生成问题。提出了虚拟智能对手生成的模型体系,构建了虚拟智能对手的总体框架,并给出了决策模型、战术行为模型和实体模型的建模方法,并进行了实践应用,验证了模型的正确性和合理性。该模型在嵌入式空战战术对抗训练仿真论证系统取得了较为满意的结果。     

基于生成对抗网络的空中红外小目标仿真模型

空中红外小目标在目标检测、目标追踪等军事领域有较高的应用价值,但是其获取成本高昂。在WGAN模型中引入降噪算法改善生成图像质量,同时改进Wasserstein距离惩罚项,提出了一种基于生成对抗网络的空中红外小目标仿真模型（IST-WGAN）,在自建空中红外小目标数据集上训练模型,模型生成的红外图像通过主观判别、FID分值和小目标检测算法验证。结果表明,所提模型能够生成有效的红外小目标样本。     

标准化全连接残差网络空战目标威胁评估

针对空战态势中威胁评估传统方法存在缺乏自学习能力和面对大样本数据集推理能力不足的问题,提出了利用深度学习的基于标准化全连接残差网络空战目标威胁评估的方法。将影响空战目标威胁的主要因素作为输入,利用普通全连接神经网络训练模型的自学习能力,结合批量标准化(Batch Normalization)的优化算法和结构优化的残差网络(ResNet)增强网络的自学习能力,比较了样本的标记和网络模型的输出。分析了训练样本个数对网络训练准确率和损失变化的影响,对比了3种不同数据量下的训练模型在同一测试集下测试的准确率和损失变化。结果表明,该方法可以快速准确地评估空战中目标的威胁程度。     

对抗环境下的智能兵棋系统设计及其关键技术

智能博弈对抗领域已成为当前研究的热门领域之一。侧重在兵棋推演系统的体系构建和模块设计,分析了兵棋推演系统的建模要素,包括兵棋要素、兵棋规则及智能接口设计,构建了智能兵棋推演系统的整体架构。通过A3C强化学习智能算法对系统设计进行可行性验证。其中,改进了强化学习训练过程的奖励设置,明确智能兵棋环境的状态输入、算法驱动过程及动作输出过程,通过自主实现的智能兵棋推演系统,验证了所提的系统理论与工作。该工作为基于强化学习的智能博弈系统的设计与实现提供了可行路径,并为以后基于强化学习的智能博弈对抗研究提供了基础平台。     

联合生成对抗网络和检测网络的SAR图像目标检测

针对合成孔径雷达图像目标检测中存在的样本获取困难且数量有限问题,提出了联合生成对抗网络和检测网络的学习模型。利用原始训练集对特别设计的超快区域卷积神经网络进行预训练;再通过基于注意力机制的深度学习生成对抗网络生成高质量合成样本,并输入检测网络进行预测;依据预测信息和概率等价类属标签分配策略为新生样本提供注释信息,并以一定占比对原始训练集进行扩充;利用扩充数据集对检测网络进行再训练。多组仿真实验证明,所提框架能够有效提升网络检测效率和性能。     

基于改进DDPG的空战行为决策方法

针对空战中飞机如何根据实时态势进行快速智能决策问题,提出基于改进DDPG算法的空战行为决策框架(Air Combat Behavior Decision-making Framework on Improve DDPG,ACBDF_DDPG).框架中的主要改进如下:1.设计一种针对动态目标的嵌入式人工经验奖励机制,缓解...     

基于课程强化学习的联合海空博弈决策模型训练方法

针对多智能体深度强化学习在解决联合海空作战战术博弈决策模型难以训练优化问题,结合多智能体深度强化学习在智能化指挥决策问题中的应用性优势,以及课程学习在复杂问题研究中的改进优势,构建基于马尔可夫决策过程的联合海空战术决策过程模型,提出基于复杂度指数函数的任务复杂性度量方法,建立基于值分解网络算法的求解模型。针对一个典型联合海空作战战术决策场景,构建从易到难的课程学习任务和模型求解框架,设计针对任务的决策模型训练方法,在兵棋推演仿真系统上,对模型训练方法的可行性进行了验证。     

基于变异离散粒子群的协同空战攻击决策算法

为了提高智能协同空战攻击决策算法性能,将变异策略引入到DPSO(Discrete Particle Swarm Optimization)协同空战攻击决策算法中,提出了一种新的基于变异离散粒子群(Mutation Discrete Particle Swarm Optimization,MDPSO)的协同空战攻击决策算法。基于典型空战想定背景,仿真验证了算法的有效性。采用对比实验方法,基于准确性、可靠性和快速性等关键性能指标,分析比较了基于MDPSO协同空战攻击决策算法与多种智能决策算法,验证了基于MDPSO的协同空战攻击决策算法有着较好的综合性能。     

基于多智能体强化学习的无人机集群对抗方法研究

针对复杂动态不确定环境下的无人机集群对抗问题,基于多智能体强化学习开展了对抗决策方法的研究。首先,基于MaCA环境构建了无人机集群对抗模型;其次,引入集中训练网络的混合架构模式,改进了传统DDPG算法,设计了面向无人机集群对抗的MADDPG算法,分别采用基于规则的对抗策略和基于DQN的对抗策略对算法进行了训练,提升了对抗算法的鲁棒性、适应性和泛化性;最后,通过搭建对抗仿真环境,验证了所设计方法的有效性和可靠性。     

【专题】无人机空战决策技术研究进展

随着无人机相关技术领域的飞速发展,无人机迅速成为世界各国军事领域的研究热点。无人机自主决策作为无人机领域的核心问题,指的是无人机基于空战态势,利用数学优化理论、人工智能等方法,独立自主地生成机动动作控制指令以完成设定目标的过程。本文首先介绍了世界各国该领域的研究进展,并基于空战决策的求解思路,将决策方法分为三类：基于对策理论、基于专家知识以及基于启发式学习算法的决策方法。其次,针对基于对策理论的空战决策方法,阐述了从微分对策到矩阵对策的发展及联系;针对基于专家知识的空战决策方法,介绍了该类方法的建模方法,改进方向;针对基于启发式学习算法的决策方法,论述了各典型方法的适用条件、改进途径等。最后,对无人机空战决策的研究难点进行分析,并展望了未来的研究方向与趋势。     

无人机空战决策技术研究进展

随着无人机相关技术领域的飞速发展,无人机迅速成为世界各国军事领域的研究热点。无人机自主决策作为无人机领域的核心问题,指的是无人机基于空战态势,利用数学优化理论、人工智能等方法,独立自主地生成机动动作控制指令以完成设定目标的过程。本文首先介绍了世界各国该领域的研究进展,并基于空战决策的求解思路,将决策方法分为三类:基于对策理论、基于专家知识以及基于启发式学习算法的决策方法。其次,针对基于对策理论的空战决策方法,阐述了从微分对策到矩阵对策的发展及联系;针对基于专家知识的空战决策方法,介绍了该类方法的建模方法,改进方向;针对基于启发式学习算法的决策方法,论述了各典型方法的适用条件、改进途径等。最后,对无人机空战决策的研究难点进行分析,并展望了未来的研究方向与趋势。     

基于DRL与微分对策的无人机空战决策研究

随着无人机战场环境越来越复杂,空战对抗将逐渐成为主要的一种无人机作战方式.为了能够确保我方无人机在快速演变的战场态势下抓住先机、精确决策、快速致胜,需要根据实际作战环境、作战样式,建立无人机和环境进行交互的规则、无人机空战对抗中采用的战术使用规则,并结合规则,通过智能决策算法,达到提升无人机空战对抗胜率的目的.提出一种结合微分对策(Differential Games,DG)的深度强化学习方法(Deep Reinforcement Learning,DRL)解决此问题,利用深度强化学习的智能决策性以及微分对策的准确机动性,实现战术决策到机动决策.最后以空战对抗1V1为例,对提出的方法进行验证,结果证明方法可行有效.     

针对无人机集群对抗的规则与智能耦合约束训练方法

基于无人机集群智能攻防对抗构想,建立了无人机集群智能攻防对抗仿真环境。针对传统强化学习算法中难以通过奖励信号精准控制对抗过程中无人机的速度和攻击角度等问题,提出一种规则与智能耦合约束训练的多智能体深度确定性策略梯度(rule and intelligence coupling constrained multi-agent deep deterministic policy gradient, RIC-MADDPG)算法,该算法采用规则对强化学习中无人机的动作进行约束。实验结果显示,基于RIC-MADDPG方法训练的无人机集群对抗模型能使得红方无人机集群在对抗中的胜率从53%提高至79%,表明采用“智能体训练—发现问题—编写规则—再次智能体训练—再次发现问题—再次编写规则”的方式对优化智能体对抗策略是有效的。研究结果对建立无人机集群智能攻防策略训练体系、开展规则与智能相耦合的集群战法研究具有一定参考意义。     

多模态图像智能目标识别对抗攻击

基于深度学习模型的新一代智能化多模态(可见光/红外/雷达)图像识别系统已逐步在航空航天情报侦察、人机交互增强作战系统、无人作战平台自动图像目标识别以及多模复合图像末制导等多个军事场景中得到广泛应用。然而,由于深度神经网络模型在理论上存在不完备性和对抗脆弱性、多模态图像目标识别深度网络结构设计与优化在工程上存在迁移性等因素,使得现有识别系统在鲁棒准确性方面评估不足,给系统在未来战场复杂对抗场景中的广泛部署带来极大的安全隐患。为此,本文通过研究多模态图像智能目标识别系统军事场景应用的风险模型,分析系统存在的潜在攻击面,开展基于深度神经网络的多模态图像识别对抗样本攻击技术和对抗鲁棒准确性评估等关键技术研究,以期提升系统在复杂电磁环境条件下的鲁棒性和准确性。     

基于数据耕耘的探索性仿真实验框架研究

基于数据耕耘思想,设计了探索性仿真实验框架,并对框架中每个部分进行了简要探讨。基于数据耕耘的探索性仿真实验框架由乒乓式对抗推演预实验、单个仿真想定生成环、仿真想定空间运行环和仿真结果分析环四部分组成,通过将人的经验、智慧与计算机仿真手段相结合,在多次循环的过程中逐渐形成所需的军事决策建议或寻找感兴趣的战争规律。通过构建探索性仿真实验框架,能够将各种定量、定性分析方法整合起来,围绕实验目标实施探索性仿真实验。     

微分博弈在无人机集群攻防中的应用研究

为了解决传统微分博弈理论的局中人规模受限问题,针对固定翼无人机目标-攻击-防御三方集群对抗场景,提出了一种基于微分博弈的集群攻防决策算法。该集群攻防决策算法利用基于Dubins路径价值函数的拍卖算法将集群攻防对抗问题解耦为目标-攻击者-防御者三方微分博弈问题,并且融入载体坐标系转换以及自动驾驶仪控制模型等约束,实现三维空间中以加速度为控制输入的集群决策,为等规模三方集群对抗问题提供协同决策控制。仿真实验结果证明,提出的集群攻防决策算法对于多种规模的无人机集群均能生成攻防角色对应的决策控制,实现包括目标-攻击-防御三种角色的三方集群攻防空战决策,在优化个体决策的同时,兼顾集群内无人机间的协同性。