融合先验知识的异构多智能体强化学习算法研究

近年来,基于深度强化学习的机器学习技术突破性进展为智能博弈对抗提供了新的技术发展方向。针对智能对抗中异构多智能体强化学习算法训练收敛速度慢,训练效果差异大等问题,提出了一种先验知识驱动的多智能体强化学习博弈对抗算法PK-MADDPG,构建了双重Critic框架下的MADDPG模型。该模型使用了经验优先回放技术来优化先验知识提取,在博弈对抗训练中取得显著的效果。论文成果应用于MaCA异构多智能体博弈对抗全国竞赛,将PK-MADDPG算法与经典规则算法的博弈对抗结果进行比较,验证了所提算法的有效性。     

基于智能体技术的CGF行为模拟研究

为了有效模拟CGF物理行为和智能行为的不同特性,提出了一个复合CGF智能体模型,将CGF的行为模拟分为认知、内部环境、规划决策和行动四个模块,该模型综合了反应式行为模式和基于规划模式两方面优点.利用行为模式采用层次化方法建立CGF物理行为模型,使CGF智能体能对动态战场环境做出灵活的反应.结合CGF不同类型任务规划决策方法的分析介绍了基于规划模式的CGF智能行为模拟方法,使CGF智能体能按照战术原则进行作战任务规划.采用基于军事命令控制结构对CGF进行组织和控制,为CGF间的指挥协同提供了与实际作战环境相似的框架.     

数字化军队需要的MGIS系统结构设计

本文从作战指挥角度分析了数字化军队对军事地理信息系统 (MGIS)的需要。以开放的地理数据模型 (OGM)组织数据 ,并融入计算机网络、数据仓库、软件重用和智能决策支持等技术的最新发展 ,设计出具有一定智能的、基于网络的适于部队数字化建设和高技术条件下作战指挥需要的MGIS系统结构     

基于智能反射面辅助的无人机主动监听优化方法

针对可疑用户可能利用无线通信危害公共安全的问题,通过智能反射面和无人机组合的方法来帮助合法监视器监听可疑链路。首先,考虑了无人机与地面用户以及地面用户之间复杂的信道交互,构建了一个合法监视器监听速率最大的优化问题。其次,为了解决这个复杂的非凸优化问题,采用深度强化学习技术,将无人机的轨迹规划和智能反射面的相移变化问题建模为马尔可夫决策过程,设计了相应的奖励函数,并基于最大熵的深度强化学习算法实现无人机和智能反射面相移设计的联合优化。最后,从仿真结果看,与无智能反射面的优化方案相比,有智能反射面的优化方案不仅提高了合法监视器的监听速率,还降低了无人机的能耗,另外智能反射面反射单元的不同数量也会对监听速率产生影响。同时,相较于近端策略优化,基于最大熵的深度强化学习算法的优化策略拥有更稳定的训练过程和更快的收敛速度。     

基于Agent的智能审计决策系统

被审计对象信息化水平的不断提高给审计人员带来了挑战.以Agent技术为核心,在比较系统阐述Agent技术原理的基础上,提出了一种新的智能审计决策系统模型,通过审计线索收集Agent、审计判断Agent及审计结论Agent之间的协作实现审计决策智能化,并指出了通用知识库的三重逻辑结构.最后以银行网上远程审计系统为背景,给出了一个使用Agent技术的审计智能决策系统的应用示例.实践证明,将Agent技术引入智能审计决策系统在技术上是完全可行的,是信息化时代审计的重要发展方向.     

压电界面电极的应力强度因子

建立了压电界面电极的力学模型,利用有限傅里叶变换方法将相应的力电耦合问题描述为奇异积分方程,并得到了界面应力及其强度因子的解析解。讨论了结构几何参数对应力强度因子的影响。基于强度设计的观点得到两方面的结论：一是界面中心电极优于偏置电极;二是界面长度的最优值为中心电极长度的2倍。     

基于深度强化学习潜艇攻防对抗训练指挥决策研究

潜艇和水面舰艇编队间的攻防对抗是潜艇作战研究的重点内容,如何确保潜艇在舰艇编队、反潜直升机等兵力的联合封锁下存活和突围,是对潜艇指挥决策的考验.为此,针对潜舰机博弈对抗场景,从深度强化学习和规则推理两个方面构建潜艇智能体,提出两种近端策略优化(Proximal Policy Optimization,PPO)算法改进机...     

基于对抗推演的训练样本生成框架

针对军事目标图像智能识别、智能平台对抗等AI算法学习训练缺乏高质量样本难题,提出了一种基于对抗推演的训练样本生成框架。从训练样本的数据格式、作战业务的维度,建立了训练样本分类体系;从样本特征、样本标签两方面,提出了训练样本的表征方法,建立了军事目标图像、目标航迹等训练样本表征模型;建立了基于对抗推演的训练样本生成框架,依据红蓝双方的行为决策模型,开展对抗式仿真推演,积累训练样本数据;以智能空战决策训练样本为典型案例,提出了基于规则与微分方程求解相结合的方法,通过自主对抗模拟产生训练样本数据,支撑智能空战决策AI算法训练。