基于DDPG的四旋翼无人机姿态控制

针对未知环境下四旋翼无人机姿态控制实现难、鲁棒性差等问题,提出了基于深度确定性策略(DDPG)算法的智能姿态控制方法。首先,基于欧拉-庞卡莱方程,利用计算机符号推导,建立四旋翼的动力学模型;其次,基于DDPG算法设计四旋翼的姿态控制器,并在奖励函数设计中引入姿态误差、姿态角速度误差和控制量惩罚项;最后,通过设置不同初始状态值、改变四旋翼结构参数和引入噪声等仿真试验,分析验证控制器的性能。仿真结果表明,该控制器能够引导四旋翼快速响应到期望姿态并保持稳定,同时展现出较好的泛化能力。     

逐步Ⅰ型混合截尾试验下Burr部件的可靠性分析

在逐步Ⅰ型混合截尾试验下,研究了Burr部件寿命参数及可靠性指标的极大似然估计和Bayes估计.利用简单迭代方法,给出了寿命参数和可靠性指标的极大似然估计的数值解.然后利用Lindely Bayes近似算法得到了平方损失下寿命参数以及可靠性指标的Bayes估计.最后,运用Monte-Carlo方法对各估计结果作了模拟比较,结果表明Bayes估计较极大似然估计的误差小.     

融合先验知识的异构多智能体强化学习算法研究

近年来,基于深度强化学习的机器学习技术突破性进展为智能博弈对抗提供了新的技术发展方向。针对智能对抗中异构多智能体强化学习算法训练收敛速度慢,训练效果差异大等问题,提出了一种先验知识驱动的多智能体强化学习博弈对抗算法PK-MADDPG,构建了双重Critic框架下的MADDPG模型。该模型使用了经验优先回放技术来优化先验知识提取,在博弈对抗训练中取得显著的效果。论文成果应用于MaCA异构多智能体博弈对抗全国竞赛,将PK-MADDPG算法与经典规则算法的博弈对抗结果进行比较,验证了所提算法的有效性。     

用户偏好提取MDP建模研究

将马尔可夫判决过程和智能强化学习算法相结合,给出了异构无线网络环境下用户业务偏好评估模型的技术框架。为动态环境下用户需求的感知、量化和适配特征的研究提供了基本的数学描述,对解决用户体验的评价问题和业务与业务环境的适配问题提供了新的研究思路。仿真结果表明所构建的MDP模型能够在多状态条件下学习用户偏好,根据用户需求智能选择业务。     

混合MIMO相控阵雷达反向非均匀重叠子阵分割方法

针对混合MIMO相控阵雷达子阵分割中发射相干处理增益和波形分集增益不能兼顾的问题,提出了一种反向非均匀重叠子阵分割方法,该结构在非均匀重叠子阵分割的基础上,对其结构进行了反转.通过推导证明了反向非均匀重叠子阵分割方法在两种增益上的优越性.相较于传统的子阵分割方式,该方法既增强了发射相干处理增益,又保留了波形分集增益.仿...     

物料混合过程智能仿真软件的研制

以实时智能系统开发软件G2为平台,以一典型的化工物料混合过程为对象,研制了其智能仿真运行软件,运行结果表明,该软件能准确有效地模拟仿该过程的动态操作与运行。这说明,G2是一中较好的智能仿真软件开发工具。所做工作对于研究掌握动态仿真技术和G2智能编程技术具有积极的意义,对于研制较大规模工艺过程的仿真运行软件也具有一定的参考价值。     

频谱重叠DS／SFH混合扩展频谱系统

在频谱分析的基础上提出对直接序列扩展频谱信号的窄带接收的概念及其实现的问题。进而导出频谱重叠DS／FH－SS系统的带宽,给出DS／SFH混合扩展频谱信号接收机的模型,并讨论了混合扩展频谱系统的同步问题。     

基于深度强化学习和导航向量场的卫星规避拦截算法

针对在轨卫星规避拦截问题,提出了一种新的基于强化学习和三维李雅普诺夫导航向量场（3D-LGV）算法。首先,采用3D-LGV产生收敛于椭圆轨道的趋近律,保证规避拦截后能再次入轨。其次,针对拦截卫星利用扰动流体动态系统算法（IFDS）产生扰动流场,利用该扰动流场对导航向量场产生的趋近律进行修正,从而保证卫星能有效地规避拦截。由于IFDS算法中扰动流场大小和方向主要受其中反应系数和方向系数的影响,采用近端策略优化深度强化学习算法作为决策层输出反应系数和方向系数,用于指导卫星在不同场景下提供合适的对导航向量场的修正。最后,通过将IFDS算法修正后的趋近律作为卫星的最终运动方向,实现了整个规避过程。在构建的不同场景下进行了对比实验,结果表明,相较于滚动时域优化算法（RHC）、人工势场算法（APF）和传统IFDS算法,基于强化学习的算法决策时间更短、规避效果更好,在不同场景下均能实现有效规避。同时,对该算法进行蒙特卡洛仿真,统计结果显示卫星规避成功率高达98%。因此,此研究对智能方法在卫星规避拦截领域的应用具有一定价值。     

基于异环境重要性采样的增强DDRQN网络

针对局部可观测多智能体学习环境下,智能体与环境频繁交互造成环境不稳定,导致智能体无法使用经验回放机制(experience replay)的问题,采用了一种基于异环境重要性采样的回放经验利用机制。并结合该机制再深度强化学习算法,深度分布式循环Q网络(DDRQN)基础上进行了改进,提出一种增强型的深度分布式循环Q网络。通过对Deep Mind的Py SC2平台Defeat Roaches局部可观测多智能体学习环境实验结果对比分析表明,增强型的深度分布式循环Q网络相比于DDRQN网络,具有良好的学习性能,稳定性、收敛速度均具有显著提升。