海空跨域协同兵棋AI架构设计及关键技术分析

以深度强化学习为核心的智能博弈技术在游戏领域内的突破和进展为海空兵棋AI的研究提供了借鉴。智能体架构设计是需要解决的关键问题,良好的架构能够降低算法训练的复杂度和难度,加快策略收敛。提出基于随机博弈的海空跨域协同决策博弈模型,分析了相关的均衡解概念;在分析典型智能体框架基础上,针对海空兵棋推演决策博弈过程,提出基于多智能体分层强化学习的智能体双层架构,能够有效解决智能体间协作和维度灾难问题;从兵力协同、智能体网络设计、对手建模和训练机制共4个方面分析了关键技术。期望为海空兵棋AI设计实现提供架构指导。     

基于课程强化学习的联合海空博弈决策模型训练方法

针对多智能体深度强化学习在解决联合海空作战战术博弈决策模型难以训练优化问题,结合多智能体深度强化学习在智能化指挥决策问题中的应用性优势,以及课程学习在复杂问题研究中的改进优势,构建基于马尔可夫决策过程的联合海空战术决策过程模型,提出基于复杂度指数函数的任务复杂性度量方法,建立基于值分解网络算法的求解模型。针对一个典型联合海空作战战术决策场景,构建从易到难的课程学习任务和模型求解框架,设计针对任务的决策模型训练方法,在兵棋推演仿真系统上,对模型训练方法的可行性进行了验证。     

融合先验知识的异构多智能体强化学习算法研究

近年来,基于深度强化学习的机器学习技术突破性进展为智能博弈对抗提供了新的技术发展方向。针对智能对抗中异构多智能体强化学习算法训练收敛速度慢,训练效果差异大等问题,提出了一种先验知识驱动的多智能体强化学习博弈对抗算法PK-MADDPG,构建了双重Critic框架下的MADDPG模型。该模型使用了经验优先回放技术来优化先验知识提取,在博弈对抗训练中取得显著的效果。论文成果应用于MaCA异构多智能体博弈对抗全国竞赛,将PK-MADDPG算法与经典规则算法的博弈对抗结果进行比较,验证了所提算法的有效性。     

基于UML的兵棋推演系统建模

通过对兵棋推演系统结构和功能的分析,运用面向对象的分析与设计方法,建立了基于UML的兵棋推演系统模型,并构建了系列视图模型,描述了该系统从需求分析到系统设计的整个过程,对兵棋推演系统进行了规范化、可视化表述。为兵棋推演系统详细设计、开发和实现奠定基础,为其他推演系统开发提供参考。     

联合战役兵棋AI体系框架设计及关键技术分析

深度强化学习在游戏智能决策领域取得了令人瞩目的突破。多智能体深度强化学习、分层深度强化学习等领域的研究工作正将深度强化学习研究引向深入。由于联合战役兵棋博弈复杂的问题构成难以仅依靠深度强化学习方法解决,因而需要将人的知识经验有机融入强化学习过程中。对深度强化学习算法进行综合分析,并系统总结梳理联合战役兵棋AI的军事运用需求,在此基础上设计联合战役兵棋AI的体系框架并就框架中的相关技术进行探讨。     

基于元深度强化学习方法的智能博弈决策模型研究

针对陆军装甲分队博弈对抗决策问题,在分析深度强化学习方法在构建智能博弈对抗决策模型适用性基础上,对基于马尔科夫决策过程的陆军装甲分队博弈对抗过程模型进行了形式化描述,提出了基于元深度强化学习的博弈对抗决策模型,给出了分队战术平台下基于元深度强化学习的智能博弈对抗策略生成与优化框架.研究成果可为智能博弈对抗问题的解决提供一种思路.     

基于深度强化学习的兵棋推演决策方法框架

针对兵棋推演的自动对抗问题,文章提出基于深度学习网络和强化学习模型来构建对抗策略。文章结合深度强化学习技术优势,立足多源层次化的战场态势描述,提出面向智能博弈的战场态势表示方法;将作战指挥分层分域的原则同即时策略游戏中的模块化和分层架构相结合,提出一种层次化和模块化深度强化学习方法框架,用于各决策智能体与战场环境交互的机制以及对抗策略的产生;为满足实际作战响应高实时特点,提出压缩的深度强化学习,提升模型输出速度;为改善对不同环境的适应性,提出利用深度迁移学习提升模型泛化能力。     

兵棋在作战效能试验中的应用

兵棋是对战争过程进行研究和评估的军事科学工具。针对作战效能试验中存在的实装对抗组织实施难度大、周期长、消耗大的问题,运用兵棋进行作战效能试验可以为武器装备的试验鉴定提供依据,提高试验效率,对完善武器装备试验体制起到良好的协同构建作用。分析兵棋的特性和作战效能试验的特点,提出将兵棋应用于作战效能试验所需要的关键技术,研究了将兵棋推演用于试验的系统构建方法,明确了推演流程,提出了基于贝叶斯网络的评价方法。     

面向作战决策智能体的融合赋权评估方法

在兵棋等对抗性作战实验环境下,通过使用基于强化学习方法训练的智能体进行仿真推演,能够检验作战决策效果,达到辅助决策的目的。针对当前作战决策智能体评估往往采用胜率这一单一数据指标的局限,提出了一种基于融合赋权的综合评估方法。通过构建涵盖作战决策有效性、作战意图实现性、作战环境适应性、智能体训练效率、智能体训练体系和智能体训练方法等技战术效果指标的评估体系,然后使用主客观方法对不同类型指标进行赋权,再根据指标性质将权值融合进入评估体系,实现基于融合权重的智能体决策效果评估。构建了陆上合成分队进攻作战场景,利用该方法对6个智能体进行评估验证,能够获得智能体的综合排名,有效避免了单一指标的评估局限。该方法对作战决策智能体评估提供了新的思路,符合作战环境需要,具有一定的应用价值。     

智能算法在兵棋对抗推演中的应用

针对兵棋对抗推演中的制权瘫体阶段联合火力打击任务规划问题,研究智能算法应用的可行性.设计了以多智能体协同进化为设计理念的群体智能优化算法,同时针对联合火力打击毁伤特点设计了对抗模拟平台,通过计算机迭代进化输出优化智能体,分析对应的最优任务规划的结构特点.实验分析表明,相比于手工拟制任务规划本算法应用于联合火力打击任务规...     

基于总线的兵棋推演实时数据采集管理设计与实现

针对兵棋推演系统在数据访问方面存在的一些“痛点”,吸收国内外兵棋推演系统在数据存储方面的经验教训,设计了基于总线的兵棋推演实时数据采集管理平台。引入分布式存储平台作为底层存储基础,引入内存数据库作为对外服务接口;采用基于总线的数据采集作为采集来源,并进行数据清洗和基于数据段的分支管理。系统整体分为三个模块,分别是采集模块、管理模块、服务模块;实现了对兵棋推演数据的实时采集、清洗、存储与管理。应用表明,平台为兵棋系统内的其他各个模块提供了高速可靠的数据访问支撑。     

基于多智能体强化学习的无人机集群对抗方法研究

针对复杂动态不确定环境下的无人机集群对抗问题,基于多智能体强化学习开展了对抗决策方法的研究。首先,基于MaCA环境构建了无人机集群对抗模型;其次,引入集中训练网络的混合架构模式,改进了传统DDPG算法,设计了面向无人机集群对抗的MADDPG算法,分别采用基于规则的对抗策略和基于DQN的对抗策略对算法进行了训练,提升了对抗算法的鲁棒性、适应性和泛化性;最后,通过搭建对抗仿真环境,验证了所设计方法的有效性和可靠性。     

基于B/S架构的兵棋推演系统设计与实现

针对B/S架构及先进的多想定、多进程以及多方推演技术进行研究,实现了基于B/S架构的兵棋推演系统。该系统使用便捷,只需通过浏览器访问系统即可,参训人员可单独推演,也可集体组织推演,不受地点,时间和环境限制,为培养军事指挥人员提供了有效手段。应用和实践表明,系统能够使参训人员更易操作和使用,在保持专业严肃性之外,还兼具了娱乐性,极大地提高了参训人员对兵棋推演的兴趣。     

基于对抗推演的训练样本生成框架

针对军事目标图像智能识别、智能平台对抗等AI算法学习训练缺乏高质量样本难题,提出了一种基于对抗推演的训练样本生成框架。从训练样本的数据格式、作战业务的维度,建立了训练样本分类体系;从样本特征、样本标签两方面,提出了训练样本的表征方法,建立了军事目标图像、目标航迹等训练样本表征模型;建立了基于对抗推演的训练样本生成框架,依据红蓝双方的行为决策模型,开展对抗式仿真推演,积累训练样本数据;以智能空战决策训练样本为典型案例,提出了基于规则与微分方程求解相结合的方法,通过自主对抗模拟产生训练样本数据,支撑智能空战决策AI算法训练。     

战略投送兵棋推演初探

战略投送与战略决策、战争准备、作战计划等密切相关。战略投送兵棋推演能够模拟并展现战略投送的全过程,为首长决策提供支持。研究了战略投送兵棋推演的人员、流程、规则,设计了单位算子、事件算子、地图板等要素,为相关研究提供参考。     

海军兵棋演习系统研究

兵棋演习系统是我军未来开展模拟训练的重要手段，针对国内外对兵棋推演系统现状及技术发展趋势进行研究，提出海军兵棋演习系统的发展方向和设计方法，并结合海军兵棋推演的研究内容重点，给出作战规则建模、指挥关系建模等主要关键技术的解决方法，为我国海军未来兵棋推演系统设计、研究和发展提供技术支撑。     

基于兵棋推演的联合侦察预警能力评估

联合侦察预警体系的能力指标是联合作战指挥员在作战筹划与指挥控制阶段关注的重要基础信息之一。根据联合作战指挥员对联合侦察预警能力分析评估需求,基于兵棋推演基础想定和实时推演数据,采用体系能力边界静态评估与实时作战效能评估相结合的方法,从宏观整体与局部细节不同层次系统全面地评估联合侦察预警体系作战能力,设计构建了联合侦察预警体系基本作战能力与实时作战效能评估两大类十五个具体评估指标,并对每一个评估指标的内涵、外延和计算方法进行了详细阐述;最后,基于兵棋推演基础想定和推演模型输出结果,设计并实现了联合侦察预警体系能力评估软件工具,为兵棋推演中面向指挥员的联合侦察预警能力评估提供了新思路和新方法。     

人工智能在兵棋推演中的应用初探

<正>人工智能具有巨大的潜力。美国家人工智能安全委员会提出：“与人类相比,机器有着更加快速高效的观察、决定和行动能力,这在任何一个领域都能提供改变世界的竞争优势”。关于将人工智能技术应用到兵棋推演领域的优点,美智库相关研究认为,“人工智能系统不仅实现了兵棋推演中许多流程的自动化,提高了效率,它们还使人和机器能够以新颖的方式协同工作”。人工智能的崛起为兵棋推演带来了前所未有的机遇,也将使兵棋推演发生颠覆性的变化。     

基于兵棋推演的赛事设计与组织

为了将基于兵棋推演的各类赛事活动组织的更加合理、规范和标准化，首先简述了组织兵棋推演活动所需的基本条件，而后通过大量实践经验，就如何组织赛事活动中所涉及的主要内容进行逐一的过程化设计描述，最后从推演准备、推演实施和复盘总结三个方面阐述了赛事活动的组织与实施，为今后从事相关工作的组织和人员提供一种可靠方法。     

装备保障兵棋动态评估方法研究

针对装备保障兵棋推演中的方案裁决和分析评估问题,对装备保障效能动态评估方法进行了研究.从分析装备保障兵棋要素入手,构建基于兵棋地图的评估模型.该兵棋地图评估模型能够充分利用地图中的静态地理环境信息和动态战场环境信息,对装备保障方案进行综合分析并给出评估结果,为装备保障方案的制定、调整和执行提供依据.