基于AGENT的危机决策模拟问题求解框架研究

本文在分析危机决策对抗模拟特点的基础上 ,提出了基于双层黑板模型的危机决策对抗模拟问题求解框架 ,探讨了多智能体对各种不同类型知识模块的封装和组织 ,分析了态势推演问题求解框架和危机决策问题求解框架的结构和组成。     

基于深度强化学习和导航向量场的卫星规避拦截算法

针对在轨卫星规避拦截问题,提出了一种新的基于强化学习和三维李雅普诺夫导航向量场（3D-LGV）算法。首先,采用3D-LGV产生收敛于椭圆轨道的趋近律,保证规避拦截后能再次入轨。其次,针对拦截卫星利用扰动流体动态系统算法（IFDS）产生扰动流场,利用该扰动流场对导航向量场产生的趋近律进行修正,从而保证卫星能有效地规避拦截。由于IFDS算法中扰动流场大小和方向主要受其中反应系数和方向系数的影响,采用近端策略优化深度强化学习算法作为决策层输出反应系数和方向系数,用于指导卫星在不同场景下提供合适的对导航向量场的修正。最后,通过将IFDS算法修正后的趋近律作为卫星的最终运动方向,实现了整个规避过程。在构建的不同场景下进行了对比实验,结果表明,相较于滚动时域优化算法（RHC）、人工势场算法（APF）和传统IFDS算法,基于强化学习的算法决策时间更短、规避效果更好,在不同场景下均能实现有效规避。同时,对该算法进行蒙特卡洛仿真,统计结果显示卫星规避成功率高达98%。因此,此研究对智能方法在卫星规避拦截领域的应用具有一定价值。     

基于异环境重要性采样的增强DDRQN网络

针对局部可观测多智能体学习环境下,智能体与环境频繁交互造成环境不稳定,导致智能体无法使用经验回放机制(experience replay)的问题,采用了一种基于异环境重要性采样的回放经验利用机制。并结合该机制再深度强化学习算法,深度分布式循环Q网络(DDRQN)基础上进行了改进,提出一种增强型的深度分布式循环Q网络。通过对Deep Mind的Py SC2平台Defeat Roaches局部可观测多智能体学习环境实验结果对比分析表明,增强型的深度分布式循环Q网络相比于DDRQN网络,具有良好的学习性能,稳定性、收敛速度均具有显著提升。     

面向大规模容器集群的网络控制技术

针对容器技术在网络层面缺乏控制的问题,设计一套面向大规模容器集群的网络控制架构,分别从容器集群网络的灵活组网、智能适配以及安全隔离三个方向进行研究,主要解决大规模容器集群部署中的网络适配和隔离控制等关键问题。实验结果表明,设计的网络控制架构可以根据网络特点有针对性地实现虚拟局域网的快速划分、网络节点的稳定迁移和节点通信的精确隔离控制。