基于课程强化学习的联合海空博弈决策模型训练方法

针对多智能体深度强化学习在解决联合海空作战战术博弈决策模型难以训练优化问题,结合多智能体深度强化学习在智能化指挥决策问题中的应用性优势,以及课程学习在复杂问题研究中的改进优势,构建基于马尔可夫决策过程的联合海空战术决策过程模型,提出基于复杂度指数函数的任务复杂性度量方法,建立基于值分解网络算法的求解模型。针对一个典型联合海空作战战术决策场景,构建从易到难的课程学习任务和模型求解框架,设计针对任务的决策模型训练方法,在兵棋推演仿真系统上,对模型训练方法的可行性进行了验证。     

自主空战决策中的战术过程评价方法

战术过程评价是自主空战决策中的重要部分.在装备航炮和格斗弹的双机近距格斗这一战术背景下,合理考虑角度、距离、机动与能量因素,构造了战术状态优势函数.在此基础上,提取战术过程的特征量,建立有优先级的判据体系,提出了逐级淘汰的战术过程评价方法.仿真结果表明,战术状态优势函数能准确体现格斗中各时刻双机战术态势的优劣,逐级淘汰方法能有效地从候选的机动动作中得到空战决策结果.     

海空跨域协同兵棋AI架构设计及关键技术分析

以深度强化学习为核心的智能博弈技术在游戏领域内的突破和进展为海空兵棋AI的研究提供了借鉴。智能体架构设计是需要解决的关键问题,良好的架构能够降低算法训练的复杂度和难度,加快策略收敛。提出基于随机博弈的海空跨域协同决策博弈模型,分析了相关的均衡解概念;在分析典型智能体框架基础上,针对海空兵棋推演决策博弈过程,提出基于多智能体分层强化学习的智能体双层架构,能够有效解决智能体间协作和维度灾难问题;从兵力协同、智能体网络设计、对手建模和训练机制共4个方面分析了关键技术。期望为海空兵棋AI设计实现提供架构指导。     

未来空战中的近距格斗

近距格斗是空战双方在视距范围通过急剧机动,使用格斗导弹和航炮攻击目标的一种空战样式。随着一大批采用隐身、精确制导等高新技术的新一代作战飞机陆续投入使用,有人认为,近距格斗将退出空战舞台。但大量的理论研究和空战实践表明,未来空战中,近距格斗不仅将与超视距空战并存,而且会表现得更为复杂,更为激烈。近距格斗依然是未来空战的重要样式机载雷达和中远距空空导弹性能的提高,使新一代作战飞机具有很强的超     

基于元深度强化学习方法的智能博弈决策模型研究

针对陆军装甲分队博弈对抗决策问题,在分析深度强化学习方法在构建智能博弈对抗决策模型适用性基础上,对基于马尔科夫决策过程的陆军装甲分队博弈对抗过程模型进行了形式化描述,提出了基于元深度强化学习的博弈对抗决策模型,给出了分队战术平台下基于元深度强化学习的智能博弈对抗策略生成与优化框架.研究成果可为智能博弈对抗问题的解决提供一种思路.     

嵌入式空战训练中虚拟智能对手的生成研究

研究探讨了嵌入式空战对抗训练系统中虚拟智能对手的生成问题。提出了虚拟智能对手生成的模型体系,构建了虚拟智能对手的总体框架,并给出了决策模型、战术行为模型和实体模型的建模方法,并进行了实践应用,验证了模型的正确性和合理性。该模型在嵌入式空战战术对抗训练仿真论证系统取得了较为满意的结果。     

多机协同空战近距格斗决策

将多级影响图和对策论引入到多机协同近距格斗决策研究中,首先将机群分组为多个小集团作战,继而又进行将小集团作战转化为多个一对一空战的协同决策,然后应用多级影响图对策解决不确定情况下近距格斗决策问题,建立了考虑交战双方、动力学质点模型和飞行员的偏好的连续机动决策模型。并探讨了求解多级影响图对策的方法,最后进行了2∶2协同空战仿真分析,仿真结果表明该模型的有效性。     

超视距空战战术实施的某些动态距离边界解算

运用1对1空战双方的运动学模型,首先提出空战双方超视距空战与近距空战动态距离边界的定义,确定该距离边界与机载定向角的关系;然后确定空战双方相对静止的数学模型及保持相对静止的策略,导出空战双方保持相对静止的战术接近极限动态距离边界和战术追躲极限动态距离边界。仿真分析上述边界与战术实施的关系。     

基于路径-博弈混合策略的无人机空战机动决策

针对无人机的自主空战机动决策问题,设计了基于路径-博弈混合策略的决策算法。首先根据无人机飞行控制过程中,水平机动和垂直机动可以解耦的原理,提出了相解耦的自主决策机制,使用路径规划实现水平机动决策,使用博弈理论实现垂直机动决策。为提升决策环境的灵活性,设计了能够自适应调整规划范围和分辨率的动态栅格环境。基于QL算法设计路径规划模型,并使用双Q表学习机制改进算法,有效提升了路径规划质量。基于纳什均衡理论构建垂直机动算法模型,根据不同的态势环境设计了代价计算函数,实现了无人机的垂直机动决策。最后,针对一对一空战对抗情景开展仿真验证,验证了算法的有效性,相对于传统基于三维规划空间下的机动决策,可有效缩短规划耗时,提升规划品质。     

基于深度强化学习的兵棋推演决策方法框架

针对兵棋推演的自动对抗问题,文章提出基于深度学习网络和强化学习模型来构建对抗策略。文章结合深度强化学习技术优势,立足多源层次化的战场态势描述,提出面向智能博弈的战场态势表示方法;将作战指挥分层分域的原则同即时策略游戏中的模块化和分层架构相结合,提出一种层次化和模块化深度强化学习方法框架,用于各决策智能体与战场环境交互的机制以及对抗策略的产生;为满足实际作战响应高实时特点,提出压缩的深度强化学习,提升模型输出速度;为改善对不同环境的适应性,提出利用深度迁移学习提升模型泛化能力。     

俄空军的歼击机空战战法研究

近年来,俄罗斯空军在不断研制新机种的同时,抓紧现代空战战法的研究,尤其侧重干近距超机动空战和超视距空战。近距超机动空战战法几种近距超机动战术动作近距超机动空战是指战斗机在相距5千米以内,目视能发现对方的情况下,通过急速机动占据有利位置,以航炮、火箭弹或近距空空导弹击落敌机的战斗。近距空战     

面向作战决策智能体的融合赋权评估方法

在兵棋等对抗性作战实验环境下,通过使用基于强化学习方法训练的智能体进行仿真推演,能够检验作战决策效果,达到辅助决策的目的。针对当前作战决策智能体评估往往采用胜率这一单一数据指标的局限,提出了一种基于融合赋权的综合评估方法。通过构建涵盖作战决策有效性、作战意图实现性、作战环境适应性、智能体训练效率、智能体训练体系和智能体训练方法等技战术效果指标的评估体系,然后使用主客观方法对不同类型指标进行赋权,再根据指标性质将权值融合进入评估体系,实现基于融合权重的智能体决策效果评估。构建了陆上合成分队进攻作战场景,利用该方法对6个智能体进行评估验证,能够获得智能体的综合排名,有效避免了单一指标的评估局限。该方法对作战决策智能体评估提供了新的思路,符合作战环境需要,具有一定的应用价值。     

对抗环境下的智能兵棋系统设计及其关键技术

智能博弈对抗领域已成为当前研究的热门领域之一。侧重在兵棋推演系统的体系构建和模块设计,分析了兵棋推演系统的建模要素,包括兵棋要素、兵棋规则及智能接口设计,构建了智能兵棋推演系统的整体架构。通过A3C强化学习智能算法对系统设计进行可行性验证。其中,改进了强化学习训练过程的奖励设置,明确智能兵棋环境的状态输入、算法驱动过程及动作输出过程,通过自主实现的智能兵棋推演系统,验证了所提的系统理论与工作。该工作为基于强化学习的智能博弈系统的设计与实现提供了可行路径,并为以后基于强化学习的智能博弈对抗研究提供了基础平台。     

基于效果的空战训练过程评估方法研究

针对目前空战对抗训练过程评估缺乏定量评估手段的现状,研究探讨训练过程详细评估方法。提出了基于效果的评估方法,以"训练过程中的战术运用效果和武器操作效果"作为评判依据,建立了基于效果的训练过程评估指标体系,并依据实时记录的状态、操控、态势等各种数据给出评估指标值的计算和表示方法。通过在嵌入式空战战术训练系统中的实践应用,取得了良好的效果。     

针对无人机集群对抗的规则与智能耦合约束训练方法

基于无人机集群智能攻防对抗构想,建立了无人机集群智能攻防对抗仿真环境。针对传统强化学习算法中难以通过奖励信号精准控制对抗过程中无人机的速度和攻击角度等问题,提出一种规则与智能耦合约束训练的多智能体深度确定性策略梯度(rule and intelligence coupling constrained multi-agent deep deterministic policy gradient, RIC-MADDPG)算法,该算法采用规则对强化学习中无人机的动作进行约束。实验结果显示,基于RIC-MADDPG方法训练的无人机集群对抗模型能使得红方无人机集群在对抗中的胜率从53%提高至79%,表明采用“智能体训练—发现问题—编写规则—再次智能体训练—再次发现问题—再次编写规则”的方式对优化智能体对抗策略是有效的。研究结果对建立无人机集群智能攻防策略训练体系、开展规则与智能相耦合的集群战法研究具有一定参考意义。     

“超级苏霍伊”的近距格斗帮手 RVV-MD2红外格斗空空导弹

<正>空对空导弹逐渐演变为现代战争中夺取制空权的空战武器,其大体分为两类：一类是中远程空空导弹,承担起夺取制空权和超视距作战,凭借着火控雷达和体系化作战,歼灭敌方的空中战斗机、预警机和加油机;第二类是近距格斗弹,也被称为近距空空导弹,通常战斗机近距离搏杀,在格斗中摧毁对方战斗机。红外近距格斗空对空导弹,是世界空战武器金字塔上的王冠。全世界只有不到10个国家能够自行研制和生产比较先进的红外格斗空空导弹,包括中国、美国、以色列、欧洲、俄罗斯、日本等国。其中能够研制第四代红外格斗空空导弹的国家就更少了,加上中国不超过5个。     

CPSO优化参数的战斗机空战效能MELM评估模型

针对近距与超视距空战的特点,提出一种基于粒子群优化(PSO)算法与极限学习机(ELM)的空战效能评估模型.引入一种基于M估计的ELM,以抵御样本数据中粗差的干扰;采用基于混沌策略的PSO算法优化ELM隐含层的输入权值和偏差,以降低随机选取参数的影响,提升评估模型的精度;利用所建模型对战斗机空战效能进行评估.仿真表明,所...     

基于对抗推演的训练样本生成框架

针对军事目标图像智能识别、智能平台对抗等AI算法学习训练缺乏高质量样本难题,提出了一种基于对抗推演的训练样本生成框架。从训练样本的数据格式、作战业务的维度,建立了训练样本分类体系;从样本特征、样本标签两方面,提出了训练样本的表征方法,建立了军事目标图像、目标航迹等训练样本表征模型;建立了基于对抗推演的训练样本生成框架,依据红蓝双方的行为决策模型,开展对抗式仿真推演,积累训练样本数据;以智能空战决策训练样本为典型案例,提出了基于规则与微分方程求解相结合的方法,通过自主对抗模拟产生训练样本数据,支撑智能空战决策AI算法训练。     

基于合作博弈的智能集群自主聚集策略

以无人车集群系统协同监视再入体着靶过程为任务背景,开展智能集群自组织策略相关技术研究。设计无人车集群执行再入体着靶协同监视的集群行为模式;针对协同监视过程中的集群聚集行为,提出基于合作博弈的智能集群自主聚集策略。各智能体以实现群体聚集为"合作目标",以降低自身能量消耗为"竞争目标",开展博弈;基于微粒群算法规划局部路径,最终使群体系统涌现出聚集行为。仿真实验验证了设计的自主聚集策略的有效性。     

基于逆强化学习的空战态势评估函数优化方法

为提高无人作战飞机(UCAV)自主决策效能,提出基于逆强化学习的空战态势评估函数优化方法。以现有的正例与反例两类空战数据为样本训练一个RBF网络,采用逆强化学习得到不同态势下的态势值,实现了对现有空战数据的知识提取;利用Sigmoid函数的压缩作用,降低了整体态势值,加快了UCAV学习的收敛速度;采用自适应粒子群算法求解优化了态势评估函数中的权重参数,提升了对复杂空战态势的适应能力;仿真结果表明该方法能够优化态势评估函数,提高机动决策的收敛速度,在UCAV自主决策中具有一定现实意义。