层次化新闻视频处理框架的设计与实现

提出了一个通用的层次化新闻视频处理框架,将新闻视频处理分为句法分段、语义标注以及视频摘要三个层次,并给出了三个层次中涉及的故事单元探测、字幕探测、视频摘要等关键技术的解决方案。框架突破了传统的新闻视频处理框架仅局限于句法分段以及单媒体特征进行处理的缺陷,通过对视音频特征进行多模态的综合分析来获取新闻视频高层的语义内容。实验通过一个新闻视频处理原型系统NVPS验证了框架的可行性,重点对故事单元探测、标题探测以及口播帧探测三个算法进行了实验,实验结果分别达到88%,86%和86%的探测准确率,从而进一步证实了层次框架在新闻视频处理方面的有效性。