基于自注意力和类监督的遥感图像跨模态检索

针对智能化联合作战场景中,情报分析人员对海量无标签遥感图像进行信息检索时面临的大数据问题,提出适用于遥感图像的文本-视觉跨模态检索技术框架,并对其中核心的跨模态检索模型进行针对性改进,构建一种基于自注意力模块和类监督约束联合训练的深度学习模型。通过引入类监督指导的全局-局部视觉特征提取模块、主导语义掩码建模的文本特征提取模块,以及融合文本-视觉语义信息的交叉提取模块,提升检索效果,实现在无图像描述标签情况下的文本-视觉跨模态语义检索。公开数据集上与相关算法的对比实验,证明该方案的先进性与可行性。