注意力机制量化剪枝优化方法

面向基于注意力机制模型的巨大计算和访存开销问题,研究量化和剪枝协同优化的模型压缩技术,提出针对注意力机制中查询、键、值、概率共四个激活值矩阵的对称线性定点量化方法。同时,提出概率矩阵剪枝方法和渐进式剪枝策略,有效降低剪枝精度损失。在不同数据集上的实验结果表明,针对典型基于注意力机制模型BERT,在较低或者没有精度损失的情况下该优化方法可达到4位或8位定点量化、0.93～0.98的稀疏度,大幅度降低模型计算量,为加速量化稀疏模型的推理奠定良好的基础。     

图像标注研究及其在情报处理中的应用

图像数据具有直观、信息量丰富等特点。图像标注方法通过获取图像特征,训练语言模型,实现用自然语言自动描述图像信息。简要介绍了图像标注方法的分类及其相关关键技术。研究表明,通过对大规模图像的自动描述,能更好地管理、分析海量图像信息,能高效地对图像进行分类、检索。结合特定的信息处理技术,图像标注可用于发现有价值的情报信息,为国防安全、战略决策等提供信息支撑。     

面向试验数据的标签本体及标签实例推荐方法

针对海量试验数据标签管理及标签管理智能化问题,提出一种标签本体及标签实例推荐方法。采集结构化、非结构化数据以及半结构化数据,根据试验数据类型,构建本体概念,形成标签库;对图像、文本、音频、视频、纸质等多模态数据采用不同方法进行装备实体以及实体关系抽取,构建标签实例库;利用规则映射和自然语言处理方法对标签本体与标签实例进行关系映射;最后,挖掘用户个人信息以及使用标签信息,结合个人信息以及标签信息,形成基于标签及标签实例的智能推荐。对比现有模型,该推荐模型在MAE和MSE指标上分别降低了8.82%和5.56%,AUC指标提高了13.33%,对试验数据智能化管理具有重要意义。     

遥感数据用户需求融合处理技术

遥感数据是国家的基础性和战略性资源,在经济建设、国防建设、抢险救灾、生态环境保护等方面得到了广泛的应用,发挥着越来越重要的作用,各行各业对遥感数据的需求也越来越多。因此,如何提高对地观测资源的利用率,提高服务响应速度成为迫切需要解决的问题。采用自然语言处理技术,提出了一种用户需求融合处理方法,该方法可以有效地融合归并相同或者相似的用户需求,实现一图多用,引入需求预测和需求融合技术以提高需求融合效率,从而提高对地观测资源的利用率,达到事半功倍的效果。     

辅助任务增强的中文跨域NL2SQL算法

自然语言到结构化查询语言(natural language to structured query language,NL2SQL)任务旨在将自然语言询问转化为数据库可执行的结构化查询语言(structured query language,SQL) 语句。本文提出了一种辅助任务增强的中文跨域 NL2SQL 算法,其核心思想是通过在解码阶段添加辅助任务以结合原始模型来进行多任务训练,提升模型的准确率。辅助任务的设计是通过将数据库模式建模成图,预测自然语言询问与数据库模式图中的节点的依赖关系,显式地建模自然语言询问和数据库模式之间的依赖关系。针对特定的自然语言询问,通过辅助任务的提升,模型能够更好地识别数据库模式中哪些表/列对预测目标 SQL 更有效。在中文 NL2SQL 数据集 DuSQL 上的实验结果表明,添加辅助任务后的算法相对于原始模型取得了更好的效果,能够更好地处理跨域 NL2SQL 任务。     

自然语言处理技术在西方国家军事领域的应用现状

自然语言处理技术近些年来得到快速发展,在人们日常生活各个方面的应用越来越广。以美国为首的西方国家的军方十分重视语言技术的军事潜力,不断开发先进的语言技术应用于军事领域,对其军事行动的成功提供有力的支援。从语音技术到语言分析技术,自然语言处理技术正在成为军事行动中的兵力倍增器。