层次化新闻视频处理框架的设计与实现

提出了一个通用的层次化新闻视频处理框架,将新闻视频处理分为句法分段、语义标注以及视频摘要三个层次,并给出了三个层次中涉及的故事单元探测、字幕探测、视频摘要等关键技术的解决方案。框架突破了传统的新闻视频处理框架仅局限于句法分段以及单媒体特征进行处理的缺陷,通过对视音频特征进行多模态的综合分析来获取新闻视频高层的语义内容。实验通过一个新闻视频处理原型系统NVPS验证了框架的可行性,重点对故事单元探测、标题探测以及口播帧探测三个算法进行了实验,实验结果分别达到88%,86%和86%的探测准确率,从而进一步证实了层次框架在新闻视频处理方面的有效性。     

一种基于EDU模型的新闻视频摘要方法

现有的视频摘要技术缺乏一个统一、可扩充的视频摘要模型。针对该缺陷,提出了实体-描述-效用模型(简称EDU模型),该模型从视频实体出发,经过描述得到效用,并最终根据效用来生成视频摘要,该模型具有可扩展性。对EDU模型进行了详细阐述,并根据该模型,提出了新闻视频故事摘要生成的方法。实验结果表明,该方法具有令人满意的效果。     

一种基于局部不变特征的图像特定场景检测方法

图像场景的自动检测,对于图像的标注以及语义检索具有非常重要的作用。本文研究根据实际应用的需要,围绕会晤、集会、海滩等八类特定场景图像的检测问题展开。首先对图像进行局部关键点的检测以及SIFT特征描述子的计算,从而提取图像的局部特征,在此基础上基于支撑向量机构建多分类器,进行特征训练,最终获得较为准确的检测结果。实验重点针对分类器核函数的确定以及特征选取策略等问题展开,实验结果表明,采用径向基核函数构建多分类器以及特征点按尺度大小排序取前n位的选取策略可以获得较为准确和鲁棒的特定场景检测结果。本方法在保证满足一定程度场景检测准确率的前提下,具有简单快速的特点,能够满足实际应用的需要。