注意力机制量化剪枝优化方法

面向基于注意力机制模型的巨大计算和访存开销问题,研究量化和剪枝协同优化的模型压缩技术,提出针对注意力机制中查询、键、值、概率共四个激活值矩阵的对称线性定点量化方法。同时,提出概率矩阵剪枝方法和渐进式剪枝策略,有效降低剪枝精度损失。在不同数据集上的实验结果表明,针对典型基于注意力机制模型BERT,在较低或者没有精度损失的情况下该优化方法可达到4位或8位定点量化、0.93～0.98的稀疏度,大幅度降低模型计算量,为加速量化稀疏模型的推理奠定良好的基础。     

延迟驱动的FPGA高扇出信号线快速布线算法

采用基本的延迟驱动Pathfinder布线器对FPGA高扇出信号进行布线,大部分时间会用于初始化寻路的优先级队列,而初始化工作主要是将已得到的布线树中的布线资源结点插入优先级队列.但是分析发现,并非所有被插入的资源结点对布线都是有帮助的.因此提出了一种基于树剪枝的优先级队列初始化算法,这种算法对已有的布线树中的资源点进...     

基于GA的卷积神经网络结构化剪枝算法

为解决传统神经网络模型过参数化问题,提高深度学习模型工程化实现的效率,提出了基于GA的结构化模型压缩算法.该方法从全局搜索空间对模型各层卷积核进行结构化剪枝,并以"高检测精度,低网络规模"为准则建立适应度函数,解决传统权重剪枝易陷入局部最优和剪枝结果对硬件平台不友好问题,获得精度损失低、模型压缩率高的轻量化模型结构.     

基于多假设跟踪弹道导弹主动段跟踪算法

针对弹道导弹主动段防御中多枚弹道导弹同时跟踪问题,提出了基于多假设思想的主动段跟踪算法.重点阐述了该算法中假设生成、假设概率计算、假设约简以及假设剪枝等环节.从工程实用的角度出发,采用求解一个线性分配问题(LAP)方法得到M个最优假设,大大减少了假设数量,并运用N-scan回溯剪枝方法对假设进行剪枝,确定要输出的航迹,提高了算法的效率和实用性.仿真实验表明,该算法能够对主动段多枚弹道导弹目标准确关联跟踪.     

基于CNN的视频火焰识别及模型剪枝

针对目前火焰识别仅用单帧图像判断是否起火准确率低的缺点,引入视频识别的方法,通过提取火焰的运动信息提升卷积神经网络(CNN)识别微小火焰的准确率。首先,在CNN Resnet18的最后一层添加3D卷积层,突出火焰的运动特性,抑制其他形式的运动;然后,对该模型进行剪枝处理,压缩网络参数。实验结果表明:在剪去90%卷积核的情况下,该模型准确率仍然保持在86.4%的较高水平,最小可以识别大小为20×30像素的火焰。     

稀疏平衡变分自动编码器的文本特征提取

针对文本特征提取方面的高维数据特征区分度较低、基于规则的特征学习的自学习性能差、变分自动编码器存在过度剪枝等问题,提出稀疏平衡变分自动编码器(Sparse Balanced Variational AutoEncoder,SBVAE)的文本特征提取模型.为消除噪声干扰,提高文本特征提取模型的鲁棒性,在文本特征提取的输入...