层次化新闻视频处理框架的设计与实现

提出了一个通用的层次化新闻视频处理框架,将新闻视频处理分为句法分段、语义标注以及视频摘要三个层次,并给出了三个层次中涉及的故事单元探测、字幕探测、视频摘要等关键技术的解决方案。框架突破了传统的新闻视频处理框架仅局限于句法分段以及单媒体特征进行处理的缺陷,通过对视音频特征进行多模态的综合分析来获取新闻视频高层的语义内容。实验通过一个新闻视频处理原型系统NVPS验证了框架的可行性,重点对故事单元探测、标题探测以及口播帧探测三个算法进行了实验,实验结果分别达到88%,86%和86%的探测准确率,从而进一步证实了层次框架在新闻视频处理方面的有效性。     

一种基于EDU模型的新闻视频摘要方法

现有的视频摘要技术缺乏一个统一、可扩充的视频摘要模型。针对该缺陷,提出了实体-描述-效用模型(简称EDU模型),该模型从视频实体出发,经过描述得到效用,并最终根据效用来生成视频摘要,该模型具有可扩展性。对EDU模型进行了详细阐述,并根据该模型,提出了新闻视频故事摘要生成的方法。实验结果表明,该方法具有令人满意的效果。     

多媒体数据挖掘中数据间的相似性度量研究

聚类是多媒体数据挖掘的重要任务之一,数据之间的相似性度量是聚类的基础和前提。多媒体数据的特征矢量通常都是数十维甚至数百维的,但传统的相似度量方式一般只适用于低维数据。在分析高维数据特性的基础上,提出了一个新的度量方式。通过使用一个特定的策略对原始数据空间进行网格划分,该方法较好地避免了噪声数据对高维数据相似性度量的影响。实验证明此方法是有效的。     

新闻视频数据库基于故事单元的“多线程”管理技术研究

新闻视频关于新闻事件的报道是一种"多线程"的形式,针对这种特性提出了一种基于有向图理论的新闻视频数据库管理方法。研究了故事单元相似关系与图论知识之间的联系,结合最小部分树理论提出了一种将故事单元之间复杂相似关系图简化为"多线程"结构树的新闻视频数据库管理技术。实验显示,这种管理方法对于视频数据库的浏览、检索、摘要等实际需求具有重要的理论意义和应用价值。     

一种基于局部不变特征的图像特定场景检测方法

图像场景的自动检测,对于图像的标注以及语义检索具有非常重要的作用。本文研究根据实际应用的需要,围绕会晤、集会、海滩等八类特定场景图像的检测问题展开。首先对图像进行局部关键点的检测以及SIFT特征描述子的计算,从而提取图像的局部特征,在此基础上基于支撑向量机构建多分类器,进行特征训练,最终获得较为准确的检测结果。实验重点针对分类器核函数的确定以及特征选取策略等问题展开,实验结果表明,采用径向基核函数构建多分类器以及特征点按尺度大小排序取前n位的选取策略可以获得较为准确和鲁棒的特定场景检测结果。本方法在保证满足一定程度场景检测准确率的前提下,具有简单快速的特点,能够满足实际应用的需要。     

基于局部敏感哈希算法和神经网络学习的跨媒体检索方法

为了提高跨媒体检索的效率,可行的方法是降低数据集中不相关内容的比例。采用局部敏感哈希算法将图像数据映射到汉明空间并利用神经网络学习将文本数据映射到汉明空间的哈希函数,提出一种可以显著提高数据集中相关文件比例的高效跨媒体检索方法。实验结果表明,提出的方法能够有效去除数据集中的不相关内容,相对于已有的跨媒体检索方法,其有效提高了检索效率与准确率。     

一种开放式视频管理框架

对视频进行有效管理的依据是其“内容”。视频具有多模态性,其内容也具有层次性,可用三维模型来描述视频内容。据此,提出了一种开放式视频管理框架。在该框架中,视频中的各层内容与视频数据相对独立地存储与管理,用关联机制建立起视频数据与内容的联系。通过这种机制,能够形成视频数据与内容之间的多种逻辑描述,适用于对多种视频的管理,并且可以对视频进行“多模态查询”。     

新闻视频中基于“场景词汇”的故事单元相似度分析

新闻视频中故事单元的相似度计算对于视频浏览、检索和跟踪故事单元等应用具有特别重要的意义.研究提出了一种利用"场景词汇"计算故事单元相似度的方法,将单独的关键帧作为一个完整"词汇",将每个故事单元看作是一系列"场景词汇"描述的"文档".在此基础上研究了"场景词汇"的特殊性,并设计了有效的"场景词汇"权重计算方法和故事单元相似度计算方法.实验显示,基于"场景词汇"的故事单元相似度计算方法能够比较好地贴近用户感官和实际应用需求.