注意力机制量化剪枝优化方法

面向基于注意力机制模型的巨大计算和访存开销问题,研究量化和剪枝协同优化的模型压缩技术,提出针对注意力机制中查询、键、值、概率共四个激活值矩阵的对称线性定点量化方法。同时,提出概率矩阵剪枝方法和渐进式剪枝策略,有效降低剪枝精度损失。在不同数据集上的实验结果表明,针对典型基于注意力机制模型BERT,在较低或者没有精度损失的情况下该优化方法可达到4位或8位定点量化、0.93～0.98的稀疏度,大幅度降低模型计算量,为加速量化稀疏模型的推理奠定良好的基础。     

基于多假设跟踪弹道导弹主动段跟踪算法

针对弹道导弹主动段防御中多枚弹道导弹同时跟踪问题,提出了基于多假设思想的主动段跟踪算法.重点阐述了该算法中假设生成、假设概率计算、假设约简以及假设剪枝等环节.从工程实用的角度出发,采用求解一个线性分配问题(LAP)方法得到M个最优假设,大大减少了假设数量,并运用N-scan回溯剪枝方法对假设进行剪枝,确定要输出的航迹,提高了算法的效率和实用性.仿真实验表明,该算法能够对主动段多枚弹道导弹目标准确关联跟踪.     

稀疏平衡变分自动编码器的文本特征提取

针对文本特征提取方面的高维数据特征区分度较低、基于规则的特征学习的自学习性能差、变分自动编码器存在过度剪枝等问题,提出稀疏平衡变分自动编码器(Sparse Balanced Variational AutoEncoder,SBVAE)的文本特征提取模型.为消除噪声干扰,提高文本特征提取模型的鲁棒性,在文本特征提取的输入...