面向体系仿真的智能无人机集群作战建模总体框架研究

提出了智能无人机集群作战建模应当遵循的基本理念.在总体上将"面向体系仿真的智能无人机集群作战建模"视为一个"概念设计—模型建立—分析应用"的完整过程,而非一个孤立的建模仿真活动.为此,提出了涵盖"体系设计—模型训练—想定生成—探索仿真—结果分析"5个基础阶段的建模总体框架,以及包含支撑层、运行层、分析层和应用层在内的能够支撑该框架使用的系统体系架构.该建模总体框架,有助于解决智能无人机集群作战建模中作战概念不清晰、应用场景不明确的问题,同时可以将基于机器学习的智能实体建模技术集成到建模框架当中,以充分反映智能无人机实体及其集群的自学习、自成长特性.     

基于课程强化学习的联合海空博弈决策模型训练方法

针对多智能体深度强化学习在解决联合海空作战战术博弈决策模型难以训练优化问题,结合多智能体深度强化学习在智能化指挥决策问题中的应用性优势,以及课程学习在复杂问题研究中的改进优势,构建基于马尔可夫决策过程的联合海空战术决策过程模型,提出基于复杂度指数函数的任务复杂性度量方法,建立基于值分解网络算法的求解模型。针对一个典型联合海空作战战术决策场景,构建从易到难的课程学习任务和模型求解框架,设计针对任务的决策模型训练方法,在兵棋推演仿真系统上,对模型训练方法的可行性进行了验证。     

针对无人机集群对抗的规则与智能耦合约束训练方法

基于无人机集群智能攻防对抗构想,建立了无人机集群智能攻防对抗仿真环境。针对传统强化学习算法中难以通过奖励信号精准控制对抗过程中无人机的速度和攻击角度等问题,提出一种规则与智能耦合约束训练的多智能体深度确定性策略梯度(rule and intelligence coupling constrained multi-agent deep deterministic policy gradient, RIC-MADDPG)算法,该算法采用规则对强化学习中无人机的动作进行约束。实验结果显示,基于RIC-MADDPG方法训练的无人机集群对抗模型能使得红方无人机集群在对抗中的胜率从53%提高至79%,表明采用“智能体训练—发现问题—编写规则—再次智能体训练—再次发现问题—再次编写规则”的方式对优化智能体对抗策略是有效的。研究结果对建立无人机集群智能攻防策略训练体系、开展规则与智能相耦合的集群战法研究具有一定参考意义。     

基于深度强化学习的作战实体智能感知与决策研究

为解决战场上作战实体的自主感知与决策问题,构建了一种基于深度强化学习的智能感知与决策框架,主要包括态势数据预处理、态势感知、行动优化和知识库4个模块,并通过单智能体无人机突防实验验证其应用效果,为解决作战实体的自主感知与决策问题提供了一种可行的技术途径。     

基于多智能体强化学习的无人机集群对抗方法研究

针对复杂动态不确定环境下的无人机集群对抗问题,基于多智能体强化学习开展了对抗决策方法的研究。首先,基于MaCA环境构建了无人机集群对抗模型;其次,引入集中训练网络的混合架构模式,改进了传统DDPG算法,设计了面向无人机集群对抗的MADDPG算法,分别采用基于规则的对抗策略和基于DQN的对抗策略对算法进行了训练,提升了对抗算法的鲁棒性、适应性和泛化性;最后,通过搭建对抗仿真环境,验证了所设计方法的有效性和可靠性。     

基于大模型的态势认知智能体

针对战场态势信息众多、变化趋势认知困难的问题,提出基于大模型的态势认知智能体框架和智能态势认知推演方法。从认知概念出发,结合智能体的抽象性、具身性特点,明确了智能体构建的3个关键环节：学习环境、记忆方式和产生知识机制;设计了战场态势认知智能体架构,包括记忆部件、规划部件、执行部件、评估部件以及智能体训练要点。在长期记忆部件中,围绕战场复杂状态建模特点,分析大语言模型、多模态大模型、大序列模型的运用问题。     

通信带宽有限条件下无人机集群自主行为决策研究

通信是无人机集群协同决策控制的基础。在通信资源稀缺的战场环境下实现无人机集群的高效通信具有重要意义。目前,多智能体强化学习方法在无人机集群自主协同策略研究中应用广泛,但多数方法未考虑有限通信资源带来的影响。首先,研究了部分可观测条件下的无人机集群通信问题并给出决策模型;其次,基于研究假设和信息论,设计一种基于带宽利用率的奖励策略,该策略下的奖励值随带宽资源的利用率变化而调整,能实时指导无人机的通信行为;再次,在模型训练-执行过程中,利用长短期记忆模型作为记忆单元,保证无人机协同决策的有效性;最后,通过空中对抗仿真实验验证了所提方法的有效性,为带宽受限作战场景下的无人机集群自主协同决策提供方法借鉴。     

无人机集群作战智能培育平台构建研究

面向红蓝双方非完备信息条件下的无人机集群自主作战场景,参考即时战略游戏星际争霸人工智能技术思想,提出一种基于人工智能与军事仿真深度融合的无人机集群作战智能培育平台构建方法,给出了技术实现路径,旨在通过大样本训练,培育无人机集群自主作战决策能力,探索无人机集群战法运用模式,支撑作战人员对无人机集群进行高级指挥控制.     

OODA-L模式下的智能无人集群作战仿真建模框架

介绍了智能无人集群作战的相关概念,为反映智能无人仿真实体的自主能力和适应能力,提出将学习过程显性化的观察-判断-决策-行动-学习(Observe,Orient,Decide,Act and Learning,OODA-L)模式,并进一步扩展为适用于集群协同的Co-OODA-L模式.在智能无人仿真实体的总体描述上,采用马...     

海空跨域协同兵棋AI架构设计及关键技术分析

以深度强化学习为核心的智能博弈技术在游戏领域内的突破和进展为海空兵棋AI的研究提供了借鉴。智能体架构设计是需要解决的关键问题,良好的架构能够降低算法训练的复杂度和难度,加快策略收敛。提出基于随机博弈的海空跨域协同决策博弈模型,分析了相关的均衡解概念;在分析典型智能体框架基础上,针对海空兵棋推演决策博弈过程,提出基于多智能体分层强化学习的智能体双层架构,能够有效解决智能体间协作和维度灾难问题;从兵力协同、智能体网络设计、对手建模和训练机制共4个方面分析了关键技术。期望为海空兵棋AI设计实现提供架构指导。     

基于改进强化学习的多无人机协同对抗算法研究

多无人机的作战协同研究内容主要包含飞行协同、侦察协同及干扰协同,随着无人机数量及协同决策内容的增加,多智能体强化学习模型的状态空间及动作空间维度呈指数增长,多智能体强化学习算法在训练中不易收敛,协同决策水平难以得到显著提升。采用并对多智能体深度确定性策略梯度(MADDPG)算法原理进行模型构建,在此基础上提出了一种选择性经验存储策略的多智能体深度确定性策略梯度(SES-MADDPG)算法。该算法通过设置回收存储标准以及选择性因子,对进入经验池的经验进行选择性存储,以缓解奖励稀疏的问题。仿真实验表明,在保证算法时间复杂度的前提下,SES-MADDPG算法比其他强化学习算法有了更好的收敛效果,相较于MADDPG算法,任务完成率提高了25.427%。     

基于合作博弈的智能集群自主聚集研究

智能集群是指由大量智能体构成、采用自组织策略协作完成任务的群体。以无人车集群系统协同监视再入体着靶过程为任务背景,开展智能集群自组织策略的关键技术研究。设计了无人车集群执行再入体着靶协同监视的集群行为模式,提出了基于合作博弈的智能集群自组织策略,各智能体以实现群体聚集为“合作目标”,以降低自身能量消耗为“竞争目标”,开展博弈,基于微粒群算法规划局部路径,最终使群体系统涌现出聚集行为。仿真实验验证了设计的自主聚集策略的有效性。     

无人机蜂群通信感知一体化关键技术

无人机蜂群机动性强、易于调度、部署灵活,是未来战场态势互联互通、快速精确打击的重要手段。多无人机“通信感知一体化”将无人机通信和感知两个功能互融在一起,在无线信道传输信息的同时,主动认知并分析信道的特性,感知周围环境的物理特征,使得通信与感知功能相互得到增强。与此同时,深度强化学习将深度学习的感知能力和特征提取能力与传统强化学习的决策能力进行有机结合,解决了智能体决策博弈类的现实问题。将通信感知一体化和深度强化学习应用于多无人机态势感知、信息传递、任务规划、资源调度等,能够为多无人机蜂群系统的发展和实践应用奠定基础。     

弹药保障CGF智能决策模型研究与实现

弹药保障CGF智能决策系统是装备保障效能评估系统必不可少的组成部分,其核心是对人类决策行为的建模与仿真.在介绍智能决策含义和决策过程的基础上,重点研究和分析了CGF智能决策行为,构建了CGF智能决策模型.针对决策过程中由于无法获得人脑思维方式而导致行为模型的表达、描述、推理等受到怀疑的问题,在弹药保障CGF智能决策模型中,将决策行为分解为任务决策、过程决策和动作决策3个步骤,接近于人类思维方式.同时,对实现弹药保障CGF智能决策具有关键作用的任务决策原则、过程决策方法和动作决策规则进行了研究,并给出了应用实例.实例证明,弹药保障CGF智能决策方法逻辑清晰,易于理解和维护,便于实现.     

高超声速临近空间作战智能体攻击模型与仿真

通过对高超声速临近空间智能体攻击模型的概念描述和逻辑描述,抽象出攻击模型的数学模型,提出了一种基于作战智能体的行为模型框架和高超声速临近空间智能体攻击模型.基于Swarm复杂性仿真平台,仿真分析了高超声速临近空间智能体攻击的态势和效果,验证了建模方法的可行性,为研究高超声速临近空间飞行器提供了一种有效方法.     

网络舆论智能引导仿真推演模型与系统构建

传统马甲机械发帖的网络舆论引导方式存在智能水平不高、效果不佳的缺点。人工智能的快速发展为网络舆论智能引导奠定了坚实的理论与技术基础。本文突破新闻传播学的思维定式，利用智能体、系统建模与仿真等理论技术，研究网络舆论智能引导，提出“态势感知-仿真推演-舆论引导”的网络舆论智能引导思路，构建网络舆论智能引导仿真推演模型，明确仿真推演工具，进而构建网络舆论智能引导系统，在仿真推演的基础上实施网络舆论引导，从而颠覆传统马甲的机械式发帖引导方式，破解难以在真实网络环境中直接尝试各种引导策略的困局。本文的研究成果对于丰富网络舆论斗争理论，占领网络舆论制高点，具有重要理论意义和参考价值。     

基于模糊贝叶斯网络的UAV中远距空战战术决策

针对无人机中远距空战战术决策时决策环境的不确定性和决策实时性问题,提出了基于模糊贝叶斯网络的无人机中远距空战战术决策方法。研究了无人机空战过程,对影响战术决策的主要因素进行分析建模,构建了战术决策的模糊贝叶斯网络。最后,利用模糊集合理论对连续型态势变量进行变参数模糊化,并输入战术决策网络进行推理,对该决策方法的正确性、实时性以及在不确定环境下的有效性进行仿真验证。     

基于元深度强化学习方法的智能博弈决策模型研究

针对陆军装甲分队博弈对抗决策问题,在分析深度强化学习方法在构建智能博弈对抗决策模型适用性基础上,对基于马尔科夫决策过程的陆军装甲分队博弈对抗过程模型进行了形式化描述,提出了基于元深度强化学习的博弈对抗决策模型,给出了分队战术平台下基于元深度强化学习的智能博弈对抗策略生成与优化框架.研究成果可为智能博弈对抗问题的解决提供一种思路.     

基于强化学习的通信受限环境多无人机协同策略

随着人工智能技术的发展,空域无人作战正由“单平台遥控”向“多平台协同”转变。多无人机协同作战任务具有非完全信息、通信受限、高实时、强动态等特点,给协同决策生成带来巨大挑战。针对通信受限环境中的多无人机协同决策问题,提出一种基于动态层级网络通信架构的通信强化学习协同策略,该策略能够显著减少无人机集群间的通信次数,同时准确传递其决策需要的信息,从而得到较优协同策略。针对多无人机协同围捕的典型任务场景,基于OpenAI平台对所提出的算法进行了仿真验证。结果表明,与传统强化学习算法相比,提出的通信强化学习策略可以显著减少无人机间的通信次数,同时在一定程度上避免潜在的信息欺骗问题。完成任务需要的平均通信次数相比于传统两两通信结构减少约77%,为实现通信受限环境中的多无人机协同任务提供技术支撑。     

基于Multi-Agent的智能指控系统建模

给出的智能指控系统基本模型主要由技术基础层、态势认知层、期望意图层和指挥决策层组成,该模型具有系统复杂性、信息实时性、功能分布性、指控同步性和执行协同性等基本特征,整个系统的运行基本包括:态势评估、信念形成、规则确定、推理判断、意愿产生、承诺达成和任务执行等环节.在研究智能指控系统的基础上,运用Netlogo多智能体仿真平台,对智能指控系统防空作战模型进行了仿真,仿真运行结果表明基于Multi-Agent的智能指控系统对防空作战效果提升有着显著影响.