海空跨域协同兵棋AI架构设计及关键技术分析

以深度强化学习为核心的智能博弈技术在游戏领域内的突破和进展为海空兵棋AI的研究提供了借鉴。智能体架构设计是需要解决的关键问题,良好的架构能够降低算法训练的复杂度和难度,加快策略收敛。提出基于随机博弈的海空跨域协同决策博弈模型,分析了相关的均衡解概念;在分析典型智能体框架基础上,针对海空兵棋推演决策博弈过程,提出基于多智能体分层强化学习的智能体双层架构,能够有效解决智能体间协作和维度灾难问题;从兵力协同、智能体网络设计、对手建模和训练机制共4个方面分析了关键技术。期望为海空兵棋AI设计实现提供架构指导。     

基于课程强化学习的联合海空博弈决策模型训练方法

针对多智能体深度强化学习在解决联合海空作战战术博弈决策模型难以训练优化问题,结合多智能体深度强化学习在智能化指挥决策问题中的应用性优势,以及课程学习在复杂问题研究中的改进优势,构建基于马尔可夫决策过程的联合海空战术决策过程模型,提出基于复杂度指数函数的任务复杂性度量方法,建立基于值分解网络算法的求解模型。针对一个典型联合海空作战战术决策场景,构建从易到难的课程学习任务和模型求解框架,设计针对任务的决策模型训练方法,在兵棋推演仿真系统上,对模型训练方法的可行性进行了验证。     

基于UML的兵棋推演系统建模

通过对兵棋推演系统结构和功能的分析,运用面向对象的分析与设计方法,建立了基于UML的兵棋推演系统模型,并构建了系列视图模型,描述了该系统从需求分析到系统设计的整个过程,对兵棋推演系统进行了规范化、可视化表述。为兵棋推演系统详细设计、开发和实现奠定基础,为其他推演系统开发提供参考。     

联合战役兵棋AI体系框架设计及关键技术分析

深度强化学习在游戏智能决策领域取得了令人瞩目的突破。多智能体深度强化学习、分层深度强化学习等领域的研究工作正将深度强化学习研究引向深入。由于联合战役兵棋博弈复杂的问题构成难以仅依靠深度强化学习方法解决,因而需要将人的知识经验有机融入强化学习过程中。对深度强化学习算法进行综合分析,并系统总结梳理联合战役兵棋AI的军事运用需求,在此基础上设计联合战役兵棋AI的体系框架并就框架中的相关技术进行探讨。     

基于元深度强化学习方法的智能博弈决策模型研究

针对陆军装甲分队博弈对抗决策问题,在分析深度强化学习方法在构建智能博弈对抗决策模型适用性基础上,对基于马尔科夫决策过程的陆军装甲分队博弈对抗过程模型进行了形式化描述,提出了基于元深度强化学习的博弈对抗决策模型,给出了分队战术平台下基于元深度强化学习的智能博弈对抗策略生成与优化框架.研究成果可为智能博弈对抗问题的解决提供一种思路.     

基于深度强化学习的兵棋推演决策方法框架

针对兵棋推演的自动对抗问题,文章提出基于深度学习网络和强化学习模型来构建对抗策略。文章结合深度强化学习技术优势,立足多源层次化的战场态势描述,提出面向智能博弈的战场态势表示方法;将作战指挥分层分域的原则同即时策略游戏中的模块化和分层架构相结合,提出一种层次化和模块化深度强化学习方法框架,用于各决策智能体与战场环境交互的机制以及对抗策略的产生;为满足实际作战响应高实时特点,提出压缩的深度强化学习,提升模型输出速度;为改善对不同环境的适应性,提出利用深度迁移学习提升模型泛化能力。     

兵棋在作战效能试验中的应用

兵棋是对战争过程进行研究和评估的军事科学工具。针对作战效能试验中存在的实装对抗组织实施难度大、周期长、消耗大的问题,运用兵棋进行作战效能试验可以为武器装备的试验鉴定提供依据,提高试验效率,对完善武器装备试验体制起到良好的协同构建作用。分析兵棋的特性和作战效能试验的特点,提出将兵棋应用于作战效能试验所需要的关键技术,研究了将兵棋推演用于试验的系统构建方法,明确了推演流程,提出了基于贝叶斯网络的评价方法。     

面向作战决策智能体的融合赋权评估方法

在兵棋等对抗性作战实验环境下,通过使用基于强化学习方法训练的智能体进行仿真推演,能够检验作战决策效果,达到辅助决策的目的。针对当前作战决策智能体评估往往采用胜率这一单一数据指标的局限,提出了一种基于融合赋权的综合评估方法。通过构建涵盖作战决策有效性、作战意图实现性、作战环境适应性、智能体训练效率、智能体训练体系和智能体训练方法等技战术效果指标的评估体系,然后使用主客观方法对不同类型指标进行赋权,再根据指标性质将权值融合进入评估体系,实现基于融合权重的智能体决策效果评估。构建了陆上合成分队进攻作战场景,利用该方法对6个智能体进行评估验证,能够获得智能体的综合排名,有效避免了单一指标的评估局限。该方法对作战决策智能体评估提供了新的思路,符合作战环境需要,具有一定的应用价值。     

基于多智能体强化学习的无人机集群对抗方法研究

针对复杂动态不确定环境下的无人机集群对抗问题,基于多智能体强化学习开展了对抗决策方法的研究。首先,基于MaCA环境构建了无人机集群对抗模型;其次,引入集中训练网络的混合架构模式,改进了传统DDPG算法,设计了面向无人机集群对抗的MADDPG算法,分别采用基于规则的对抗策略和基于DQN的对抗策略对算法进行了训练,提升了对抗算法的鲁棒性、适应性和泛化性;最后,通过搭建对抗仿真环境,验证了所设计方法的有效性和可靠性。     

基于B/S架构的兵棋推演系统设计与实现

针对B/S架构及先进的多想定、多进程以及多方推演技术进行研究,实现了基于B/S架构的兵棋推演系统。该系统使用便捷,只需通过浏览器访问系统即可,参训人员可单独推演,也可集体组织推演,不受地点,时间和环境限制,为培养军事指挥人员提供了有效手段。应用和实践表明,系统能够使参训人员更易操作和使用,在保持专业严肃性之外,还兼具了娱乐性,极大地提高了参训人员对兵棋推演的兴趣。     

基于对抗推演的训练样本生成框架

针对军事目标图像智能识别、智能平台对抗等AI算法学习训练缺乏高质量样本难题,提出了一种基于对抗推演的训练样本生成框架。从训练样本的数据格式、作战业务的维度,建立了训练样本分类体系;从样本特征、样本标签两方面,提出了训练样本的表征方法,建立了军事目标图像、目标航迹等训练样本表征模型;建立了基于对抗推演的训练样本生成框架,依据红蓝双方的行为决策模型,开展对抗式仿真推演,积累训练样本数据;以智能空战决策训练样本为典型案例,提出了基于规则与微分方程求解相结合的方法,通过自主对抗模拟产生训练样本数据,支撑智能空战决策AI算法训练。     

战略投送兵棋推演初探

战略投送与战略决策、战争准备、作战计划等密切相关。战略投送兵棋推演能够模拟并展现战略投送的全过程,为首长决策提供支持。研究了战略投送兵棋推演的人员、流程、规则,设计了单位算子、事件算子、地图板等要素,为相关研究提供参考。     

海军兵棋演习系统研究

兵棋演习系统是我军未来开展模拟训练的重要手段，针对国内外对兵棋推演系统现状及技术发展趋势进行研究，提出海军兵棋演习系统的发展方向和设计方法，并结合海军兵棋推演的研究内容重点，给出作战规则建模、指挥关系建模等主要关键技术的解决方法，为我国海军未来兵棋推演系统设计、研究和发展提供技术支撑。     

人工智能在兵棋推演中的应用初探

<正>人工智能具有巨大的潜力。美国家人工智能安全委员会提出：“与人类相比,机器有着更加快速高效的观察、决定和行动能力,这在任何一个领域都能提供改变世界的竞争优势”。关于将人工智能技术应用到兵棋推演领域的优点,美智库相关研究认为,“人工智能系统不仅实现了兵棋推演中许多流程的自动化,提高了效率,它们还使人和机器能够以新颖的方式协同工作”。人工智能的崛起为兵棋推演带来了前所未有的机遇,也将使兵棋推演发生颠覆性的变化。     

基于兵棋推演的赛事设计与组织

为了将基于兵棋推演的各类赛事活动组织的更加合理、规范和标准化，首先简述了组织兵棋推演活动所需的基本条件，而后通过大量实践经验，就如何组织赛事活动中所涉及的主要内容进行逐一的过程化设计描述，最后从推演准备、推演实施和复盘总结三个方面阐述了赛事活动的组织与实施，为今后从事相关工作的组织和人员提供一种可靠方法。     

装备保障兵棋动态评估方法研究

针对装备保障兵棋推演中的方案裁决和分析评估问题,对装备保障效能动态评估方法进行了研究.从分析装备保障兵棋要素入手,构建基于兵棋地图的评估模型.该兵棋地图评估模型能够充分利用地图中的静态地理环境信息和动态战场环境信息,对装备保障方案进行综合分析并给出评估结果,为装备保障方案的制定、调整和执行提供依据.     

兵棋推演在装备保障领域的应用

深入研究兵棋和兵棋推演,准确把握其内涵和特点,积极研发适合我军需要的兵棋系统,对于推进我军作战模拟深入发展、提高部队战备训练水平、促进军事学术研究有着十分重要的意义.在阐述兵棋概念和总结兵棋发展的历史基础上,通过分析装备保障兵棋与作战兵棋的差异,综合兵棋推演、运筹分析和实兵演习技术,提出装备保障兵棋系统总体框架的设计.     

基于综合势力图的态势估计方法

在AI兵棋对抗中,能够更全面地理解态势信息是AI棋手获胜的前提条件.提出了基于综合势力图的态势估计方法,阐述了势力图的原理和一般生成过程,提出基于综合势力图的态势分析框架;将AI兵棋的静态信息、经验信息和动态信息计算叠加形成综合势力图,在此基础上分析敌方位置、视野以及火力威胁等态势相关信息,得到态势估计结果,为AI决策提供信息支撑;基于AI兵棋推演平台进行内置规则AI和基于势力图的AI之间的对抗实验,实验结果表明该方法能够提升AI决策的准确性,提高AI在兵棋对抗中的胜率.     

基于计算机兵棋系统推演的初始态势构建复杂性及其根源

<正>兵棋推演对于现代作战来说并不陌生,美军在几场战争中都采用了兵棋推演,可以说是到了“每到用兵必先进行兵棋推演”的地步。用兵棋就需要进行推演准备,就需要构建初始态势。使用计算机兵棋系统进行推演初始态势构建是一个复杂问题,它包括基础数据准备、战场环境准备、行动预案构设等多方面内容。本文对其复杂性及其产生的根源进行了分析,并发掘未来兵棋推演能够带来的启示。     

兵棋推演：复杂系统管理的创新与实践

复杂系统性质决定了复杂系统管理的特殊性，而兵棋推演可以为复杂系统管理提供更加符合其特性的决策辅助支持。讨论了复杂系统的性质及其影响，研究了兵棋推演用于复杂系统管理的原因和方法，并结合战争兵棋推演，介绍了兵棋工程建设中系统研发、推演组织和工程管理方面的创新与实践问题。最后，给出了未来发展的趋势。