融合先验知识的异构多智能体强化学习算法研究

近年来,基于深度强化学习的机器学习技术突破性进展为智能博弈对抗提供了新的技术发展方向。针对智能对抗中异构多智能体强化学习算法训练收敛速度慢,训练效果差异大等问题,提出了一种先验知识驱动的多智能体强化学习博弈对抗算法PK-MADDPG,构建了双重Critic框架下的MADDPG模型。该模型使用了经验优先回放技术来优化先验知识提取,在博弈对抗训练中取得显著的效果。论文成果应用于MaCA异构多智能体博弈对抗全国竞赛,将PK-MADDPG算法与经典规则算法的博弈对抗结果进行比较,验证了所提算法的有效性。     

航空通信平行仿真系统研究

针对未来多域协同体系级作战下的航空通信动态规划需求,根据仿真系统与实际系统的虚实映射、实时同步、共生演进和闭环优化的系统目标,提出了平行仿真系统在航空通信装备作战效能提升、装备内场增量式集成测试验证、装备智能健康管理以及虚实结合的试飞训练等方向的应用构想,建立了一种面向航空通信的平行仿真系统架构,给出了系统组成,分析了系统涉及的实时数据采集、多分支并行仿真推演和基于人工智能的态势预测与智能决策等关键技术难题,为平行仿真技术在航空通信领域的具体应用奠定理论基础。     

基于CE-QPSO算法的联合火力打击方案智能优化方法

针对联合火力打击方案优化“既快又精”需求难题,设计了CE-QPSO算法,提出了基于该算法的联合火力打击方案智能优化方法。该算法充分结合了交叉熵算法良好的全局寻优能力和量子粒子群算法高效运行的特点,通过构建离散概率矩阵,使粒子的不确定性运动更具方向性,提高了粒子的协同寻优能力。实验结果表明：基于该算法的联合火力打击方案智能优化方法能够有效提升联合火力打击方案的优化效果和优化效率,且相比于标准交叉熵算法和标准量子粒子群优化算法具有明显优势。     

中国船舶七二二所控股公司海阔公司在页岩油气关键智能装备市场取得重要突破!

新年伊始,中国船舶七二二所控股公司海阔公司成功中标中石油测井公司水平井输送系统合作开发项目,中标金额1500余万元,标志着海阔公司成功进入中石油测井科技创新生态圈,取得了页岩油气关键智能装备领域重要突破. 路虽远行则将至,事虽难做则必成.智能水平井输送技术设备是目前页岩油气开发急需的高端装备,应用需求大,但行业内最先进...     

多参数的双层分布式智能在线检测系统

能在一套系统上做到诸如显示、电压、转速、温度和流速等多参数信号的检测通常是比较困难的。结合上述问题提出了多参数双层分布式智能在线检测系统的构建方法。分析了智能仪器、多仪器串行通讯接口等相关支持技术。并通过引入一兰姆波密度传感器检测系统为例说明了所构建系统的可行性。此系统通过合理的软件和硬件设计,可以完成对整机系统的诸如检测、处理、监控、报警、显示和启示等功能,从而自动智能地达到控制目的。     

基于AGENT的危机决策模拟问题求解框架研究

本文在分析危机决策对抗模拟特点的基础上 ,提出了基于双层黑板模型的危机决策对抗模拟问题求解框架 ,探讨了多智能体对各种不同类型知识模块的封装和组织 ,分析了态势推演问题求解框架和危机决策问题求解框架的结构和组成。     

基于深度强化学习和导航向量场的卫星规避拦截算法

针对在轨卫星规避拦截问题,提出了一种新的基于强化学习和三维李雅普诺夫导航向量场（3D-LGV）算法。首先,采用3D-LGV产生收敛于椭圆轨道的趋近律,保证规避拦截后能再次入轨。其次,针对拦截卫星利用扰动流体动态系统算法（IFDS）产生扰动流场,利用该扰动流场对导航向量场产生的趋近律进行修正,从而保证卫星能有效地规避拦截。由于IFDS算法中扰动流场大小和方向主要受其中反应系数和方向系数的影响,采用近端策略优化深度强化学习算法作为决策层输出反应系数和方向系数,用于指导卫星在不同场景下提供合适的对导航向量场的修正。最后,通过将IFDS算法修正后的趋近律作为卫星的最终运动方向,实现了整个规避过程。在构建的不同场景下进行了对比实验,结果表明,相较于滚动时域优化算法（RHC）、人工势场算法（APF）和传统IFDS算法,基于强化学习的算法决策时间更短、规避效果更好,在不同场景下均能实现有效规避。同时,对该算法进行蒙特卡洛仿真,统计结果显示卫星规避成功率高达98%。因此,此研究对智能方法在卫星规避拦截领域的应用具有一定价值。     

基于异环境重要性采样的增强DDRQN网络

针对局部可观测多智能体学习环境下,智能体与环境频繁交互造成环境不稳定,导致智能体无法使用经验回放机制(experience replay)的问题,采用了一种基于异环境重要性采样的回放经验利用机制。并结合该机制再深度强化学习算法,深度分布式循环Q网络(DDRQN)基础上进行了改进,提出一种增强型的深度分布式循环Q网络。通过对Deep Mind的Py SC2平台Defeat Roaches局部可观测多智能体学习环境实验结果对比分析表明,增强型的深度分布式循环Q网络相比于DDRQN网络,具有良好的学习性能,稳定性、收敛速度均具有显著提升。     

舰艇生命力线图在舰炮射击效力评定中的应用

射击效力评定是武器使用和论证的基础理论,针对舰炮射击效力评定方法问题,在分析常用的射击效力指标基础上,提出一种基于生命力线图的计算毁伤定律的理论分析方法,并对计算毁伤定律的方法进行进一步改进,计算结果表明,改进的计算方法合理、可行、有效,可为舰炮的使用和论证提供理论支撑。     

基于能力的信息化弹药消耗预计方法

信息化弹药是现代作战中重要的精确杀伤武器,为了提高打击效率、降低费用代价,需要精确预计消耗量。针对信息化弹药毁伤概率高、受多种战场环境影响等特点,提出了基于能力的预计方法。该方法运用模糊逻辑理论对多种因素进行综合定量分析,根据弹药命中概率和目标类别获得目标-弹药匹配组合,并使用弹药费用和保障费用对匹配组合进行最低费用代价排序,通过目标价值和数量预计弹药消耗量。结合实例进行的仿真计算结果表明,该方法能有效预计信息化弹药消耗量。