基于语义及示例的视频搜索

发布时间：2019-07-20 14:56

【摘要】：信息时代的到来,互联网的发展使得每天数以百万计的视频文件涌向网络。如何帮助人们在海量视频库中准确、快速、便捷的检索出目标视频成为亟待解决的问题。本文提出了基于语义和示例的视频搜索框架,采用图像的内容完成视频搜索,而不是像传统商业搜索引擎那样依赖文本标签,从而大大减少了人工标注的时间和成本。同时,系统有着多样化的查询方式,支持视频短片、组图和基于视频内容的文字描述等作为查询输入,使得用户的查询更灵活、更便捷。本文主要内容及贡献如下： 1.针对不同的图像特征,提出了差异化归一化与特征向量距离计算方法,实验表明,相比于传统的统一归一化和距离计算方法,该方法改善了视频检索效果： 2.针对多示例查询,提出了示例筛选和分组算法。通过图像的相似度和感兴趣区域的面积,将示例分组,并按策略分配权重,提高了查询精度。同时提出一种交互式的示例权重分配策略,改善了系统查询的友好性； 3.搭建了基于多示例的视频搜索系统。并针对搜索示例的类型,提出了三种不同的结果重排序(Re-ranking)算法：对于大部分查询,利用示例敏感的图像特征作为信息补充,对初步的排序结果进行优化;针对涉及到人物的查询,利用人脸检测分类器作为信息过滤；对涉及到示例扩展的查询进行示例的重新分组和权重的重新分配；实验表明重排序算法作为视频检索的后处理,在提高检索正确率上起到了很大作用。 4.搭建了基于语义的视频搜索系统。首先,融合视频的自动语音识别结果以及视频元数据,提高了视频语义提取的准确性,随后,提出了基于WordNet以及改进Lucene的文本查询、索引及排序算法完成视频的搜索。本文的系统参加了TRECVID测评,在示例检索(INS)任务中获得了非交互式检索2011年排名第二和2012年的排名第一的成绩；在已知物体检索(KIS)任务中获得了非交互式检索世界排名第一的成绩,体现了系统的有效性。
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2013
【分类号】：TP391.41;TP391.1

【参考文献】