对抗环境下的智能兵棋系统设计及其关键技术

智能博弈对抗领域已成为当前研究的热门领域之一。侧重在兵棋推演系统的体系构建和模块设计,分析了兵棋推演系统的建模要素,包括兵棋要素、兵棋规则及智能接口设计,构建了智能兵棋推演系统的整体架构。通过A3C强化学习智能算法对系统设计进行可行性验证。其中,改进了强化学习训练过程的奖励设置,明确智能兵棋环境的状态输入、算法驱动过程及动作输出过程,通过自主实现的智能兵棋推演系统,验证了所提的系统理论与工作。该工作为基于强化学习的智能博弈系统的设计与实现提供了可行路径,并为以后基于强化学习的智能博弈对抗研究提供了基础平台。     

基于课程强化学习的联合海空博弈决策模型训练方法

针对多智能体深度强化学习在解决联合海空作战战术博弈决策模型难以训练优化问题,结合多智能体深度强化学习在智能化指挥决策问题中的应用性优势,以及课程学习在复杂问题研究中的改进优势,构建基于马尔可夫决策过程的联合海空战术决策过程模型,提出基于复杂度指数函数的任务复杂性度量方法,建立基于值分解网络算法的求解模型。针对一个典型联合海空作战战术决策场景,构建从易到难的课程学习任务和模型求解框架,设计针对任务的决策模型训练方法,在兵棋推演仿真系统上,对模型训练方法的可行性进行了验证。     

联合战役兵棋AI体系框架设计及关键技术分析

深度强化学习在游戏智能决策领域取得了令人瞩目的突破。多智能体深度强化学习、分层深度强化学习等领域的研究工作正将深度强化学习研究引向深入。由于联合战役兵棋博弈复杂的问题构成难以仅依靠深度强化学习方法解决,因而需要将人的知识经验有机融入强化学习过程中。对深度强化学习算法进行综合分析,并系统总结梳理联合战役兵棋AI的军事运用需求,在此基础上设计联合战役兵棋AI的体系框架并就框架中的相关技术进行探讨。     

基于综合势力图的态势估计方法

在AI兵棋对抗中,能够更全面地理解态势信息是AI棋手获胜的前提条件.提出了基于综合势力图的态势估计方法,阐述了势力图的原理和一般生成过程,提出基于综合势力图的态势分析框架;将AI兵棋的静态信息、经验信息和动态信息计算叠加形成综合势力图,在此基础上分析敌方位置、视野以及火力威胁等态势相关信息,得到态势估计结果,为AI决策提供信息支撑;基于AI兵棋推演平台进行内置规则AI和基于势力图的AI之间的对抗实验,实验结果表明该方法能够提升AI决策的准确性,提高AI在兵棋对抗中的胜率.     

基于深度强化学习的兵棋推演决策方法框架

针对兵棋推演的自动对抗问题,文章提出基于深度学习网络和强化学习模型来构建对抗策略。文章结合深度强化学习技术优势,立足多源层次化的战场态势描述,提出面向智能博弈的战场态势表示方法;将作战指挥分层分域的原则同即时策略游戏中的模块化和分层架构相结合,提出一种层次化和模块化深度强化学习方法框架,用于各决策智能体与战场环境交互的机制以及对抗策略的产生;为满足实际作战响应高实时特点,提出压缩的深度强化学习,提升模型输出速度;为改善对不同环境的适应性,提出利用深度迁移学习提升模型泛化能力。     

面向作战决策智能体的融合赋权评估方法

在兵棋等对抗性作战实验环境下,通过使用基于强化学习方法训练的智能体进行仿真推演,能够检验作战决策效果,达到辅助决策的目的。针对当前作战决策智能体评估往往采用胜率这一单一数据指标的局限,提出了一种基于融合赋权的综合评估方法。通过构建涵盖作战决策有效性、作战意图实现性、作战环境适应性、智能体训练效率、智能体训练体系和智能体训练方法等技战术效果指标的评估体系,然后使用主客观方法对不同类型指标进行赋权,再根据指标性质将权值融合进入评估体系,实现基于融合权重的智能体决策效果评估。构建了陆上合成分队进攻作战场景,利用该方法对6个智能体进行评估验证,能够获得智能体的综合排名,有效避免了单一指标的评估局限。该方法对作战决策智能体评估提供了新的思路,符合作战环境需要,具有一定的应用价值。     

基于深度强化学习的智能对手自主空战决策技术

为提升空战训练对手的智能性与自主性,提升空战训练效果。针对空战战术训练智能对手自主空战决策问题,提出一种基于深度强化学习的智能体训练方法,采用最大熵强化学习（SAC）算法平衡策略探索与利用的优势,引入自博弈和多智能体联盟训练方法提升空战智能体策略的多样性和鲁棒性。针对一对一近距格斗空战场景建立智能博弈框架及奖励函数,仿真结果表明,基于零经验训练得到的智能体能够有效自主机动决策并实施近距导弹攻击,产生较好的战术效果,证明该方法在一对一近距格斗空战智能体训练中的有效性。     

兵棋在作战效能试验中的应用

兵棋是对战争过程进行研究和评估的军事科学工具。针对作战效能试验中存在的实装对抗组织实施难度大、周期长、消耗大的问题,运用兵棋进行作战效能试验可以为武器装备的试验鉴定提供依据,提高试验效率,对完善武器装备试验体制起到良好的协同构建作用。分析兵棋的特性和作战效能试验的特点,提出将兵棋应用于作战效能试验所需要的关键技术,研究了将兵棋推演用于试验的系统构建方法,明确了推演流程,提出了基于贝叶斯网络的评价方法。     

基于对抗推演的训练样本生成框架

针对军事目标图像智能识别、智能平台对抗等AI算法学习训练缺乏高质量样本难题,提出了一种基于对抗推演的训练样本生成框架。从训练样本的数据格式、作战业务的维度,建立了训练样本分类体系;从样本特征、样本标签两方面,提出了训练样本的表征方法,建立了军事目标图像、目标航迹等训练样本表征模型;建立了基于对抗推演的训练样本生成框架,依据红蓝双方的行为决策模型,开展对抗式仿真推演,积累训练样本数据;以智能空战决策训练样本为典型案例,提出了基于规则与微分方程求解相结合的方法,通过自主对抗模拟产生训练样本数据,支撑智能空战决策AI算法训练。     

基于元深度强化学习方法的智能博弈决策模型研究

针对陆军装甲分队博弈对抗决策问题,在分析深度强化学习方法在构建智能博弈对抗决策模型适用性基础上,对基于马尔科夫决策过程的陆军装甲分队博弈对抗过程模型进行了形式化描述,提出了基于元深度强化学习的博弈对抗决策模型,给出了分队战术平台下基于元深度强化学习的智能博弈对抗策略生成与优化框架.研究成果可为智能博弈对抗问题的解决提供一种思路.     

战略投送兵棋推演初探

战略投送与战略决策、战争准备、作战计划等密切相关。战略投送兵棋推演能够模拟并展现战略投送的全过程,为首长决策提供支持。研究了战略投送兵棋推演的人员、流程、规则,设计了单位算子、事件算子、地图板等要素,为相关研究提供参考。     

装备保障兵棋动态评估方法研究

针对装备保障兵棋推演中的方案裁决和分析评估问题,对装备保障效能动态评估方法进行了研究.从分析装备保障兵棋要素入手,构建基于兵棋地图的评估模型.该兵棋地图评估模型能够充分利用地图中的静态地理环境信息和动态战场环境信息,对装备保障方案进行综合分析并给出评估结果,为装备保障方案的制定、调整和执行提供依据.     

基于UML的兵棋推演系统建模

通过对兵棋推演系统结构和功能的分析,运用面向对象的分析与设计方法,建立了基于UML的兵棋推演系统模型,并构建了系列视图模型,描述了该系统从需求分析到系统设计的整个过程,对兵棋推演系统进行了规范化、可视化表述。为兵棋推演系统详细设计、开发和实现奠定基础,为其他推演系统开发提供参考。     

兵棋推演在装备保障领域的应用

深入研究兵棋和兵棋推演,准确把握其内涵和特点,积极研发适合我军需要的兵棋系统,对于推进我军作战模拟深入发展、提高部队战备训练水平、促进军事学术研究有着十分重要的意义.在阐述兵棋概念和总结兵棋发展的历史基础上,通过分析装备保障兵棋与作战兵棋的差异,综合兵棋推演、运筹分析和实兵演习技术,提出装备保障兵棋系统总体框架的设计.     

基于多智能体强化学习的无人机集群对抗方法研究

针对复杂动态不确定环境下的无人机集群对抗问题,基于多智能体强化学习开展了对抗决策方法的研究。首先,基于MaCA环境构建了无人机集群对抗模型;其次,引入集中训练网络的混合架构模式,改进了传统DDPG算法,设计了面向无人机集群对抗的MADDPG算法,分别采用基于规则的对抗策略和基于DQN的对抗策略对算法进行了训练,提升了对抗算法的鲁棒性、适应性和泛化性;最后,通过搭建对抗仿真环境,验证了所设计方法的有效性和可靠性。     

兵棋推演：复杂系统管理的创新与实践

复杂系统性质决定了复杂系统管理的特殊性，而兵棋推演可以为复杂系统管理提供更加符合其特性的决策辅助支持。讨论了复杂系统的性质及其影响，研究了兵棋推演用于复杂系统管理的原因和方法，并结合战争兵棋推演，介绍了兵棋工程建设中系统研发、推演组织和工程管理方面的创新与实践问题。最后，给出了未来发展的趋势。     

基于深度强化学习的作战实体智能感知与决策研究

为解决战场上作战实体的自主感知与决策问题,构建了一种基于深度强化学习的智能感知与决策框架,主要包括态势数据预处理、态势感知、行动优化和知识库4个模块,并通过单智能体无人机突防实验验证其应用效果,为解决作战实体的自主感知与决策问题提供了一种可行的技术途径。     

海军兵棋演习系统研究

兵棋演习系统是我军未来开展模拟训练的重要手段，针对国内外对兵棋推演系统现状及技术发展趋势进行研究，提出海军兵棋演习系统的发展方向和设计方法，并结合海军兵棋推演的研究内容重点，给出作战规则建模、指挥关系建模等主要关键技术的解决方法，为我国海军未来兵棋推演系统设计、研究和发展提供技术支撑。     

基于合作博弈的智能集群自主聚集策略

以无人车集群系统协同监视再入体着靶过程为任务背景,开展智能集群自组织策略相关技术研究。设计无人车集群执行再入体着靶协同监视的集群行为模式;针对协同监视过程中的集群聚集行为,提出基于合作博弈的智能集群自主聚集策略。各智能体以实现群体聚集为"合作目标",以降低自身能量消耗为"竞争目标",开展博弈;基于微粒群算法规划局部路径,最终使群体系统涌现出聚集行为。仿真实验验证了设计的自主聚集策略的有效性。     

基于多智能体协作的编队协同防空决策方法研究

在深入分析现代高技术条件下海上舰艇编队协同防空决策特点的基础上,应用智能体技术,提出一种基于多智能体协作的编队协同防空决策方法.详细介绍了方法的原理和各类智能体的设计,并针对如何在编队多个舰艇决策Agent之间开展有效协同的关键问题,提出一种中心控制的MAS分布规划算法.