基于文本检索的视频搜索引擎设计

发布时间：2022-02-22 12:37

　　随着互联网技术的不断发展,网络视频服务行业也逐渐兴起繁荣,如何设计出高性能、高可用的视频搜索引擎,使用户能够高效快捷地检索到期望的视频已成为视频领域研究的核心点。针对该目标,本文设计出以视频元数据的文本信息作为索引组件的视频搜索引擎。该视频搜索引擎的底层框架基于高性能“微服务”框架gRPC,以远程过程调用的方式在各个服务之间进行通信并采用接口定义语言Protocol Buffers生成服务接口。在数据存储方面则是采用天然分布式存储服务器ElasticSearch,为数据服务提供强有力保障。在业务逻辑处理中,本文依据实际的视频搜索需求设计了视频检索流程,并进行了业务模块划分,由此确定了视频搜索引擎的基础服务框架,同时阐述了从用户检索到视频被检索出这个过程是如何进行的以及gRPC框架下服务客户端与服务端的生成过程。此外,在视频搜索引擎的核心业务逻辑意图识别模块的处理中,对用户的不同检索目的有针对性地提出不同的意图识别策略,于普通视频、系列剧采取的是建立索引规则,从而对相应的检索词进行意图判断,而对于标签剧则是采用基于AC自动机分词处理的标签识别策略。在对基础数据的处理过程中则概要介绍了为意... 

【文章来源】：华中科技大学湖北省211工程院校985工程院校教育部直属院校

【文章页数】：96 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
1 绪论
    1.1 研究意义与背景
    1.2 视频搜索引擎技术的研究现状
    1.3 本文主要工作内容介绍
    1.4 本文的组织结构与章节安排
2 技术背景综述
    2.1 服务框架模式选择
    2.2 gRPC开源框架介绍
    2.3 全文检索概述
    2.4 Elasticsearch(ES)存储服务器
    2.5 本章小结
3 视频搜索引擎设计
    3.1 视频搜索引擎定义与搜索流程设计
    3.2 gRPC框架代码
    3.3 基础数据的处理
    3.4 视频检索服务
    3.5 本章小结
4 视频搜索引擎运行实验与问题处理
    4.1 运行结果分析
    4.2 运行时问题原因与排查措施
    4.3 本章小结
5 总结与展望
    5.1 本文工作内容总结
    5.2 下一步工作展望
致谢
参考文献
附录一 视频召回结果
附录二 与爱奇艺召回结果对比


【参考文献】：
期刊论文
[1]基于Spring Cloud实现业务系统微服务化的设计与实现[J]. 王方旭.  电子技术与软件工程. 2018(08)
[2]一种基于微服务架构的业务系统设计与实现[J]. 洪华军,吴建波,冷文浩.  计算机与数字工程. 2018(01)
[3]微服务框架的设计与实现[J]. 张晶,黄小锋,李春阳.  计算机系统应用. 2017(06)
[4]一种基于微服务范式的桌面云构建框架[J]. 张辉,王伟,郭栋.  信息网络安全. 2017(02)
[5]基于改进Trie树结构的正向最大匹配算法[J]. 熊志斌,朱剑锋.  计算机应用与软件. 2014(05)
[6]网络搜索中用户搜索意图识别的研究[J]. 齐富民,谢晓尧,吴静.  计算机工程与设计. 2014(04)
[7]基于用户意图识别的查询推荐研究[J]. 罗成,刘奕群,张敏,马少平,茹立云,张阔.  中文信息学报. 2014(01)
[8]一种搜索引擎的查询意图发现的新方法[J]. 陈翀,刘晓兵,徐谷子,何靖,闫宏飞.  情报学报. 2012 (03)
[9]基于Lucene的搜索引擎设计与实现[J]. 赵珂,逯鹏,李永强.  计算机工程. 2011(16)
[10]基于标签的垂直搜索研究及在视频搜索中的应用[J]. 王梦溪,王斌.  仪表技术. 2011(05)

硕士论文
[1]土豆网视频搜索引擎系统的设计与实现[D]. 谢兵.上海交通大学 2010
[2]基于倒排索引的全文检索技术研究[D]. 刘兴宇.华中科技大学 2004



本文编号：3639457