基于多智能体强化学习的无人机集群对抗方法研究

针对复杂动态不确定环境下的无人机集群对抗问题,基于多智能体强化学习开展了对抗决策方法的研究。首先,基于MaCA环境构建了无人机集群对抗模型;其次,引入集中训练网络的混合架构模式,改进了传统DDPG算法,设计了面向无人机集群对抗的MADDPG算法,分别采用基于规则的对抗策略和基于DQN的对抗策略对算法进行了训练,提升了对抗算法的鲁棒性、适应性和泛化性;最后,通过搭建对抗仿真环境,验证了所设计方法的有效性和可靠性。     

面向网络化无人机集群的计算换通信分布式任务调度方法

针对网络化无人机集群任务自主协同问题以及市场竞拍法的优缺点,提出“计算换通信”思想及其相应的分布式任务调度方法。通过对显式和隐式冲突任务的分析,建立任务相关智能体集合。提出基于任务抑制的局部优化方法,用于提前消解部分任务冲突,以减少算法迭代次数。设计基于历史竞标信息的智能体位置推断法,为局部优化提供必要的信息输入。基于组网仿真平台与集群救援场景开展蒙特卡罗仿真实验,结果表明,相比于市场竞拍法中具有代表性的基于共识的捆绑算法和性能影响算法,所提方法能够获得更少的迭代次数、更短的收敛时间以及更优的调度性能。     

无人机蜂群通信感知一体化关键技术

无人机蜂群机动性强、易于调度、部署灵活,是未来战场态势互联互通、快速精确打击的重要手段。多无人机“通信感知一体化”将无人机通信和感知两个功能互融在一起,在无线信道传输信息的同时,主动认知并分析信道的特性,感知周围环境的物理特征,使得通信与感知功能相互得到增强。与此同时,深度强化学习将深度学习的感知能力和特征提取能力与传统强化学习的决策能力进行有机结合,解决了智能体决策博弈类的现实问题。将通信感知一体化和深度强化学习应用于多无人机态势感知、信息传递、任务规划、资源调度等,能够为多无人机蜂群系统的发展和实践应用奠定基础。     

基于改进差分进化算法的多无人机航迹规划

针对已知三维环境下的多无人机动态路径规划问题,在多无人机协同方面基于参考路径长度以及威胁距离进行任务点规划,并根据实际环境设定了约束函数和适应度函数。在航迹规划算法方面则采用改进差分进化算法,将种群基于种群个体的适应度均分为两个子种群,选择不同的变异策略。仿真验证结果显示,改进差分进化算法得到的规划路径在路径长度、适应度值优于传统差分进化算法,可以生成路径更短且适应度值更优的航迹。     

DDBN的无人机决策推理模型参数学习

针对复杂战场环境下的无人机决策推理模型参数学习的问题,提出基于遗传算法的离散动态贝叶斯网络参数学习算法。该算法将模型网络参数的最大似然估计函数作为遗传算法的适应度函数,在全局进行并行优化搜索,得到最优的网络参数,从而提高了决策推理模型对复杂环境的快速适应。仿真结果表明,该算法可以获得准确的离散动态贝叶斯网络参数,能够有效地解决复杂战场环境下无人机威胁评估问题,为无人机的自主任务决策提供有效的参数保障。     

面向协同区域反恐侦察的无人机集群规划与控制

以无人机集群协同侦察多个区域内潜在的恐怖分子为背景,提出了一种基于贪婪算法的求解思路,设计了任务分配-路径规划-跟踪控制的算法流程,解决了面向协同区域反恐侦察的无人机集群规划与控制问题。首先,设计任务分配算法,为无人机分配任务区域,解决多无人机多目标的任务分配问题;然后,每一架无人机进行路径规划,生成从当前点到任务区域以及在任务区域侦察的组合路径;再使用追踪虚拟目标点的方法,使无人机沿着规划航线飞行。任务分配-路径规划-跟踪控制在线滚动执行,使无人机集群协同执行反恐侦察任务。对上述算法进行了数值仿真,并基于开源仿真平台搭建复合翼无人机协同仿真环境,进一步验证了算法流程。     

多无人机编队协同控制软件平台设计与仿真

在战场环境瞬息万变、作战任务日益复杂的现代战争中,多架无人机编队协同完成复杂的作战任务已成为一种趋势。多无人机编队控制及重构是多无人机系统的核心内容和关键技术。基于微粒群算法、蚁群算法研究了多无人机编队控制及重构、航线规划及重规划问题,特别是在解决编队重构问题时,提出一种多样性微粒群算法。设计了多无人机编队飞行协同控制平台,仿真结果表明,标准微粒群算法、蚁群算法等智能算法可以较好解决编队控制、编队重构和航线规划问题,多样性微粒群算法具有更强的全局寻优能力。     

动态协同空战攻击决策问题研究

攻击决策问题是协同空战领域研究的核心问题之一,通过优化战机武器资源配置,以提高战机协同作战效能。针对动态协同空战攻击决策问题,系统分析空战环境的动态性,将空战动态划分为连续动态和离散动态,并建立多约束条件下动态协同空战攻击决策优化模型;设计了空战环境变化监测策略和种群多样性策略,通过迭代窗的设置,基于离散粒子群算法,提出了一种基于滚动迭代窗的启发式变异离散粒子群算法的动态协同攻击决策方法。通过仿真实验验证了所提方法能够在连续和离散动态条件下合理地规划协同空战攻击决策。     

基于改进蛙跳算法的多无人机协同任务分配研究

针对多无人机协同任务分配问题,提出了一种基于Levy飞行的改进随机蛙跳算法用于解决多无人机的协同任务预分配问题,通过引入动态跳跃步长、Levy飞行因子和族群认知因子有效改进了算法的搜索性能,提高了搜索效率。针对多无人机协同执行任务时可能遭遇的突发任务,通过引入市场拍卖机制提高了算法的计算收敛效率。通过仿真算例分析,验证了改进的随机蛙跳算法解决多无人机协同任务分配问题的有效性。     

微分博弈在无人机集群攻防中的应用研究

为了解决传统微分博弈理论的局中人规模受限问题,针对固定翼无人机目标-攻击-防御三方集群对抗场景,提出了一种基于微分博弈的集群攻防决策算法。该集群攻防决策算法利用基于Dubins路径价值函数的拍卖算法将集群攻防对抗问题解耦为目标-攻击者-防御者三方微分博弈问题,并且融入载体坐标系转换以及自动驾驶仪控制模型等约束,实现三维空间中以加速度为控制输入的集群决策,为等规模三方集群对抗问题提供协同决策控制。仿真实验结果证明,提出的集群攻防决策算法对于多种规模的无人机集群均能生成攻防角色对应的决策控制,实现包括目标-攻击-防御三种角色的三方集群攻防空战决策,在优化个体决策的同时,兼顾集群内无人机间的协同性。     

基于多Agent无人机协同侦察任务规划模型

建立了多无人机协同侦察任务规划模型，在考虑侦察时间间隔约束和目标载荷需求基础上，给出了位于不同基地的无人机优化部署和调度策略，并提出了基于多Agent的优化搜索仿真算法，利用Matlab实现了无人机优化配置和任务规划模型，得出了无人机优化配置和任务规划方案，最后分析了模型算法存在的某些不足，提出了模型改进的方向。     

基于深度强化学习的无人机实时航迹规划

随着无人机技术的应用和发展,无人机执行任务的飞行环境愈发复杂多变,对无人机机动避障能力和航迹规划的实时性提出了更高的要求。基于泛化性较好、对环境依赖弱的深度强化学习算法,以雷达实时获取的障碍物地图信息为基础进行实时路径规划,针对二维航迹规划问题特点设计了连续奖励函数,解决了强化学习算法在二维平面航迹规划中奖励稀疏的问题;基于迁移学习的思想设计多个训练环境,并按任务的难易程度进行分步训练,降低了算法的训练难度,提高了训练效果,并使算法的收敛效果更加稳定。在实验中将SAC算法与目前主流的PPO和TD3算法进行对比,实验结果表明：SAC算法收敛速度快,实时性好,航迹平滑度更好。     

基于路径-博弈混合策略的无人机空战机动决策

针对无人机的自主空战机动决策问题,设计了基于路径-博弈混合策略的决策算法。首先根据无人机飞行控制过程中,水平机动和垂直机动可以解耦的原理,提出了相解耦的自主决策机制,使用路径规划实现水平机动决策,使用博弈理论实现垂直机动决策。为提升决策环境的灵活性,设计了能够自适应调整规划范围和分辨率的动态栅格环境。基于QL算法设计路径规划模型,并使用双Q表学习机制改进算法,有效提升了路径规划质量。基于纳什均衡理论构建垂直机动算法模型,根据不同的态势环境设计了代价计算函数,实现了无人机的垂直机动决策。最后,针对一对一空战对抗情景开展仿真验证,验证了算法的有效性,相对于传统基于三维规划空间下的机动决策,可有效缩短规划耗时,提升规划品质。     

有人/无人战斗机协同空战模式及能力需求分析

针对未来空战的特点对有人/无人战斗机协同空战的作战模式及能力需求进行了研究.从信息链到武器链时空过渡的角度分析了有人/无人机协同空战的作战优势;提出了两种典型的有人/无人机协同空战方式,并给出了作战过程描述及功能结构分析;基于“观测-评估-决策-执行”指挥控制环分析了有人/无人机协同空战的指挥控制流程;基于协同空战的任务需求提出各参与平台的能力需求.此研究对有人/无人机协同空战的发展具有一定的指导意义.     

一种基于多Agent强化学习的多星协同任务规划算法

在分析任务特点和卫星约束的基础上给出了多星协同任务规划问题的数学模型.引入约束惩罚算子和多星联合惩罚算子对卫星Agent原始的效用值增益函数进行改进,在此基础上提出了一种多卫星Agent强化学习算法以求解多星协同任务分配策略,设计了基于黑板结构的多星交互方式以降低学习交互过程中的通信代价.通过仿真实验及分析证明该方法能...     

针对无人机集群对抗的规则与智能耦合约束训练方法

基于无人机集群智能攻防对抗构想,建立了无人机集群智能攻防对抗仿真环境。针对传统强化学习算法中难以通过奖励信号精准控制对抗过程中无人机的速度和攻击角度等问题,提出一种规则与智能耦合约束训练的多智能体深度确定性策略梯度(rule and intelligence coupling constrained multi-agent deep deterministic policy gradient, RIC-MADDPG)算法,该算法采用规则对强化学习中无人机的动作进行约束。实验结果显示,基于RIC-MADDPG方法训练的无人机集群对抗模型能使得红方无人机集群在对抗中的胜率从53%提高至79%,表明采用“智能体训练—发现问题—编写规则—再次智能体训练—再次发现问题—再次编写规则”的方式对优化智能体对抗策略是有效的。研究结果对建立无人机集群智能攻防策略训练体系、开展规则与智能相耦合的集群战法研究具有一定参考意义。     

不确定条件下多无人机侦察调度问题

结合动态目标的不确定性,构建了动态环境下多无人机协同搜索问题模型,并基于半随机式搜索策略的人工蜂群算法求解该模型。利用双重进化的特点,改进了插入点算子和逆转序列算子,在需要进行两点操作的搜索过程中,随机选取一点,另一点通过遍历可行解来确定最优解的位置。最后在某海域岛礁间距离之和的解空间维度上进行交叉搜索,并应用到局部搜索过程中构成双重进化,实验结果验证了所提出算法的有效性以及解决多无人机调度问题的可行性。     

基于黑板模型的分布式协同任务决策方法研究

基于黑板模型的分布式指挥控制网络为未来复杂环境下海战中多平台间的高效协同提供了新思路,通过构建应用于多航母群联合海战的分布式协同网络,对多航母群联合海战下的系统负载进行了研究,建立了一种多平台任务决策的数学模型,采用嵌套遗传算法进行了仿真求解,得到了理想的任务决策方案。最后对由于目标函数中内部负载权重系数不同取值所引起的不同任务决策结果进行了比较,验证了将基于黑板模型的分布式协同网络应用于多航母海战协同决策的科学性,为分布式海战协同决策网络的后续研究工作奠定了基础。     

空地协同效能反馈的无人车目标捕获策略研究

针对无人车光电设备对复杂环境下目标搜索捕获存在时间长、效率低等局限性问题,提出了基于空地协同效能反馈机制的无人车目标捕获方案,研究了基于效能反馈机制的改进贝叶斯理论捕获策略,基于无人车一定装备数量条件下,根据无人机协同搜索的信息,以时空覆盖率和满足目标信息准确率为反馈条件,动态闭环更新目标搜索捕获策略。仿真结果表明,该算法有效缩短了无人车对目标的搜索捕获时间,提高了搜索捕获效率。     

多无人机协同打击任务的攻防博弈策略研究

针对多无人机协同打击的攻防博弈问题,给出了一种新的方法。建立了无人机的能力函数,通过能力函数的雅可比矩阵,给出多无人机协同打击位置的计算方法,进而建立了多无人机协同打击任务的攻防博弈模型,给出了h人有限策略静态博弈模型与纯策略纳什均衡的求解方法,最后进行了仿真验证。仿真结果表明:考虑多无人机协同打击能力的攻防博弈比没考虑的博弈相比,更全面地考虑了影响敌我双方决策的因素,获得了更大的评估收益值和打击效能,且提高了多无人机的协同打击能力。