索引资源调度及更新系统的设计与实现

发布时间：2017-04-06 16:15

  本文关键词：索引资源调度及更新系统的设计与实现，，由笔耕文化传播整理发布。

【摘要】：020作为当前互联网的热点方向之一,发展迅猛,无数线下商家通过020平台为广大用户提供服务,随着商家的增多,用户不能再通过查找获取心怡的商家,而搜索引擎则为用户提供了便捷查找商家的服务。这种在020场景下应用的搜索引擎,具有自己独立的特征,虽不及全文搜索引擎的信息全面,但需要确保每一条结果的信息的完整性,如何确保搜索结果的准确性也成为了严峻的课题。本文将介绍一种020场景下垂直搜索引擎的索引更新及调度系统,该系统不仅可以确保跨机房多机器间索引的一致性,同时在时效性方面,也可以确保在分钟级别内完成万兆数据量的拉取工作；此外, 该系统可以自动化地完成服务上下线,索引自动拉取,服务监控及治理等工作。索引更新当中采用混合更新机制完成检索服务索引更新的工作,索引资源调度解决了索引文件调度,为集群中的所有机器提供流量转移服务,保证整个服务的稳定性。该系统保证了线上服务的稳定运行,确保为用户提供一个可靠的检索服务。本系统采用Python+Lua语言完成开发,其中Lua脚本语言为基础检索服务提供支持,因为Lua可以无缝嵌入C++中,本系统将功能需求进行分层抽象,同时将个业务进行模块抽象,保证系统良好的可扩展性和性能的稳定性。本系统除了可以保证索引重建的完整性,同时在时效性方面,系统可以保证在较短时间内完成索引的拉取和推送。该系统有效地保证了垂直搜索引擎中资源的合理分配,索引更新的时效性及一致性,并结合020的应用场景做适应性开发,如今已应用到实际生产环境,并对整体检索服务带来了积极的影响,在未影响检索系统服务本身性能的前提下,为其提供了自动化的管理方案。
【关键词】：搜索引擎 索引更新 索引文件调度 分布式文件系统
【学位授予单位】：大连理工大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP391.3
【目录】：

• 摘要4-5
• Abstract5-8
• 1 绪论8-13
• 1.1 课题研究背景及意义8-9
• 1.2 研究现状9-11
• 1.3 本文工作及组织结构11-12
• 1.4 本章小结12-13
• 2 相关技术说明13-17
• 2.1 Hadoop分布式文件系统(HDFS)13-14
• 2.2 搜索引擎14-15
• 2.3 Lua15
• 2.4 本章小结15-17
• 3 系统需求分析17-23
• 3.1 务理解17-18
• 3.2 索引更新相关功能需求分析18-20
• 3.3 索引资源调度相关功能需求分析20-21
• 3.4 性能需求分析21-22
• 3.5 本章小结22-23
• 4 系统设计23-48
• 4.1 概要设计23-29
• 4.1.1 系统整体架构图23-24
• 4.1.2 系统各模块之间关系24-26
• 4.1.3 主控制器模块设计26-27
• 4.1.4 服务客户端模块设计27-28
• 4.1.5 索引客户端模块设计28-29
• 4.2 索引资源调度及更新机制设计29-33
• 4.2.1 索引资源调度机制29-31
• 4.2.2 索引更新机制31-33
• 4.3 详细设计33-44
• 4.3.1 网络通信层33-34
• 4.3.2 任务调度层34-36
• 4.3.3 逻辑处理层36-43
• 4.3.4 数据层43-44
• 4.4 数据库设计44-47
• 4.4.1 上线单信息表45-46
• 4.4.2 商户信息表46-47
• 4.4.3 文本信息表47
• 4.5 本章小结47-48
• 5 系统实现48-64
• 5.1 开发语言及环境48
• 5.2 关键类实现48-52
• 5.2.1 通用类介绍48-49
• 5.2.2 主控制器49-50
• 5.2.3 服务客户端50-51
• 5.2.4 索引客户端51-52
• 5.3 协议约束及重要接口实现52-58
• 5.3.1 工作线程信息存储53
• 5.3.2 通信协议约束53-55
• 5.3.3 关键接口实现55-58
• 5.4 结果演示与评估58-63
• 5.4.1 索引更新58-59
• 5.4.2 索引资源调度59-61
• 5.4.3 系统运行情况61-63
• 5.4.4 性能分析63
• 5.5 本章小结63-64
• 结论64-65
• 参考文献65-67
• 致谢67-68

【相似文献】

中国期刊全文数据库 前10条

1 陈红艳;;浅谈索引的使用[J];科技资讯;2007年16期

2 冯亚丽;丁良奎;刘永江;王兴兆;;多格式海量数据统一存取的索引结构[J];计算机应用研究;2013年06期

3 黄恩祝;;索引系统结构的三个重要规律[J];图书馆学通讯;1988年01期

4 杨烨;;SQL Server索引性能分析[J];武汉船舶职业技术学院学报;2008年02期

5 刘凤晨;黄河;刘庆文;丁永生;;随机跳跃索引:一种支持随机插入的可信赖索引[J];计算机学报;2009年05期

6 田宏武;王成;乔晓军;;一种基于索引结构的多语言界面实现方法[J];微计算机信息;2010年05期

7 罗彬;基于MS SQL Server的索引研究与应用[J];大连民族学院学报;2001年03期

8 祝晓坤,贾永红;基于多层索引结构的联合熵算法研究[J];测绘信息与工程;2005年05期

9 章德斌;曹丽君;梁永欣;张忠平;;支持k近邻查询的X*树索引结构[J];计算机工程与应用;2011年05期

10 陈潇;;SQL Server中索引的建立与分析[J];科技信息;2012年36期

中国重要会议论文全文数据库 前10条

1 汪卫;王勇;王宇君;施伯乐;;一维动态区间索引结构[A];数据库研究进展97——第十四届全国数据库学术会议论文集（上）[C];1997年

2 曹奎;冯玉才;袁芳;;一种支持基于内容的图像检索的多维索引结构[A];第十八届全国数据库学术会议论文集（研究报告篇）[C];2001年

3 刘显敏;李建中;王宏志;刘雨洋;骆吉洲;;SAJ:以最小化空间代价为目标的F&B索引构建算法[A];第二十三届中国数据库学术会议论文集（研究报告篇）[C];2006年

4 肖伟器;冯玉才;;数据库索引结构的测试技术[A];第十一届全国数据库学术会议论文集[C];1993年

5 谢闽峰;汪卫;施伯乐;;集合索引结构及其联接操作[A];第二十届全国数据库学术会议论文集（技术报告篇）[C];2003年

6 张s

本文编号：289212