基于智能反射面辅助的无人机主动监听优化方法

针对可疑用户可能利用无线通信危害公共安全的问题，通过智能反射面和无人机组合的方法来帮助合法监视器监听可疑链路。首先，考虑了无人机与地面用户以及地面用户之间复杂的信道交互，构建了一个合法监视器监听速率最大的优化问题。其次，为了解决这个复杂的非凸优化问题，采用深度强化学习技术，将无人机的轨迹规划和智能反射面的相移变化问题建模为马尔可夫决策过程，设计了相应的奖励函数，并基于最大熵的深度强化学习算法实现无人机和智能反射面相移设计的联合优化。最后，从仿真结果看，与无智能反射面的优化方案相比，有智能反射面的优化方案不仅提高了合法监视器的监听速率，还降低了无人机的能耗，另外智能反射面反射单元的不同数量也会对监听速率产生影响。同时，相较于近端策略优化，基于最大熵的深度强化学习算法的优化策略拥有更稳定的训练过程和更快的收敛速度。