跨模态检索中的相似性漂移问题

为了降低“相似性漂移”问题的影响,提出一种基于“邻域传播”的匹配策略,将待查询项的模态内近邻映射到目标空间中,并将它们在目标空间中的最近邻作为查询项的跨模态近邻。基于邻域传播的匹配策略在不改变跨模态映射函数的条件下,可以有效地降低“相似性漂移”带来的误匹配现象。理论和实验分析证明,跨模态映射函数的“相似性漂移”问题广泛存在,而基于“邻域传播”的匹配策略可以有效降低其影响,提高匹配的准确率。