基于Nutch的农村信息服务移动搜索引擎研究

发布时间：2017-10-20 18:25

  本文关键词：基于Nutch的农村信息服务移动搜索引擎研究

  更多相关文章： 农村信息服务 移动搜索 地理标记 混合索引 Nutch

【摘要】：随着4G和大数据时代到来,网络资源的爆炸式增长。针对农村信息服务领域的快速发展,结合智能移动设备的优势,提供一个具有主题相关性、本地相近性以及高准确率的移动搜索引擎,是涉农网站应该具备的主要功能,方便农户快捷、精准的搜索到所需信息,它可以提高农户搜索体验感,推进农村信息化建设,完善农业服务体系。农村信息服务移动搜索引擎技术是提高农村服务信息获取精准性、增强农户搜索体验感的关键性技术,是当前农村信息服务领域的研究重点和热点。农村信息服务移动搜索引擎技术是围绕农村信息服务领域的移动搜索技术。在Nutch引擎技术基础上,围绕农村信息服务主题,利用向量空间模型(Vector Space Model)算法,实现网页中农村信息服务主题过滤,同时结合国家地名词典,完成网页中空间位置信息的提取;在研究面向集合的文本搜索倒排文件(Inverted File)索引技术和面向二维空间的R-tree索引技术的基础上,构建先倒排文件后R-tree混合索引模型,即IR混合索引,实现农村信息服务移动搜索的索引功能;在研究Lucene排序算法理论基础上,综合考虑地理空间位置因素和Web内容相关性因素,改进排序算法,对搜索结果进行有效的优化,展现地理位置相近性和搜索主题相关性的排序结果;围绕农村信息服务领域,用户利用移动设备,能够更便捷、更快速、更有效的实现基于位置和关键字双重检索。论文研究主要内容如下:首先,研究构建基于Nutch的农村信息服务移动搜索引擎系统整体框架。在重点研究传统搜索引擎的工作原理与关键技术基础上,利用开源搜索引擎Nutch,提出改进的基于Nutch的农村信息服务移动搜索引擎系统设计,并概括介绍系统各个模块的设计以及优化方案;其次,研究设计农村信息服务移动搜索引擎网页采集功能模块。本模块主要研究农村信息服务主题过滤模型和Web网页地理位置信息获取算法。农村信息服务主题过滤模型通过人工选择获得农村信息服务主题相关的初始URL,利用中文分词系统构建主题词库,并根据VSM算法,判别抓取网页与主题词库之间的主题相关度,实现围绕农村信息服务主题的网页抓取和过滤;Web网页地理位置信息获取通过结合国家地名词典,利用地名识别、地名分辨、地理聚焦点确定三个过程来最终实现;再次,研究设计农村信息服务移动搜索索引功能模块。为实现基于Nutch的农村信息服务移动搜索引擎同时具有文本检索能力和空间位置信息检索功能,本文在研究面向集合的文本搜索倒排文件索引技术和面向二维空间的R-tree索引技术的基础上,构建先倒排文件后R-tree混合索引模型,为农村信息服务移动搜索具有高效检索能力提供技术保障;最后,研究设计农村信息服务移动搜索排序功能模块。根据移动搜索环境中信息的文本相关性和距离相近性,在Nutch评分排序算法的基础上,提出基于位置感知的top-k文本检索(Lk T)查询排序,分别对搜索关键词与抓取网页之间的文本相关性因素,以及查询地点与网页地理聚焦点之间的距离相近性因素进行归一化处理,并且根据权重进行线性合并,设计农村信息服务移动搜索排序模块,实现优先排序出本地化的重要信息。实验结果表明,围绕农村信息服务领域,基于Nutch的农村信息服务移动搜索引擎具有较高的检索质量,能够满足农户移动检索的需求。
【关键词】：农村信息服务 移动搜索 地理标记 混合索引 Nutch
【学位授予单位】：安徽农业大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP391.3
【目录】：

• 摘要3-5
• Abstract5-16
• 1 绪论16-21
• 1.1 研究背景与意义16-17
• 1.1.1 研究背景16-17
• 1.1.2 研究意义17
• 1.2 研究思路与内容17-21
• 1.2.1 研究思路17-18
• 1.2.2 研究内容18-19
• 1.2.3 研究结构19-21
• 2 农村信息服务移动搜索引擎总体设计21-29
• 2.1 传统搜索引擎技术研究21-25
• 2.1.1 网页采集模块21-23
• 2.1.2 网页预处理模块23-24
• 2.1.3 网页查询服务24-25
• 2.2 开源搜索引擎Nutch25-26
• 2.2.1 Nutch架构组成25-26
• 2.2.2 Nutch工作原理26
• 2.3 农村信息服务移动搜索引擎设计26-28
• 2.4 本章小结28-29
• 3 农村信息服务移动搜索引擎网页采集模块设计29-38
• 3.1 农村信息服务主题过滤29-33
• 3.1.1 初始URL30
• 3.1.2 主题词库确定30-31
• 3.1.3 主题相关性判断31-33
• 3.2 Web地理位置标记33-37
• 3.2.1 地名词典33-34
• 3.2.2 地名识别34-35
• 3.2.3 地名分辨35-36
• 3.2.4 地理聚焦点确定36-37
• 3.3 本章小结37-38
• 4 农村信息服务移动搜索网页索引模块设计38-45
• 4.1 文本倒排索引38-40
• 4.2 基于MBR的空间R-tree索引40-41
• 4.3 农村信息服务移动搜索使用的混合索引41-44
• 4.4 本章小结44-45
• 5 农村信息服务移动搜索排序模块设计45-50
• 5.1 Nutch排序机制45-48
• 5.2 农村信息服务移动搜索排序算法48-49
• 5.3 本章小结49-50
• 6 系统实现与结果分析50-54
• 6.1 实验数据与系统实现50-51
• 6.2 性能分析51-53
• 6.2.1 分析方法51
• 6.2.2 结果分析51-53
• 6.3 本章小结53-54
• 7 总结与展望54-56
• 7.1 论文工作总结54-55
• 7.2 未来研究展望55-56
• 参考文献56-59
• 致谢59-60
• 个人简介60-61
• 在读期间发表的学术论文和参加的科研项目情况61

【相似文献】

中国期刊全文数据库 前10条

1 管延斌;;低成本推进农村信息服务的初步探索:新农村商网[J];中国信息界;2007年08期

2 韦东方;游专;;我国农村信息服务点建设中的问题与对策[J];农业网络信息;2008年11期

3 周应萍;;加快陕西省农村信息服务发展的几点思考[J];农业图书情报学刊;2010年08期

4 李海英;;我院图书馆在农村信息服务建设中的优势[J];才智;2012年05期

5 陈国红;灵活多样开发农村信息服务市场[J];通信企业管理;1998年12期

6 罗长寿,刘鹏;农村信息服务发展对策分析[J];农业网络信息;2005年05期

7 卢光明;;目前我国农业农村信息服务市场的产权模式分析[J];中国信息界;2006年14期

8 赵俊晔;;我国农村信息服务的特点与模式选择[J];农业图书情报学刊;2006年11期

9 ;农村信息服务样本交流研讨会和《中国农村信息服务样本库》一书样本征集启事[J];中国信息界;2007年07期

10 郭作玉;;中国信息化趋势报告(六十三) 农业农村信息服务:多元化 社会化 网络化[J];中国信息界;2007年08期

中国重要会议论文全文数据库 前2条

1 苗润莲;李梅;刘娟;;北京农村信息服务实践及对策建议[A];自主创新与持续增长第十一届中国科协年会论文集（4）[C];2009年

2 于良芝;王俊平;;农村信息服务效果及影响因素：信息服务组织视角[A];第五次全国图书馆学基础理论研讨会论文集[C];2007年

中国重要报纸全文数据库 前10条

1 郭作玉;农业农村信息服务：多元化 社会化 网络化[N];中国电子报;2007年

2 国务院经济发展研究中心 李广乾;扫清农村信息服务的障碍[N];中国计算机报;2007年

3 记者　 王长河;宝丰开通新农村信息服务网站[N];平顶山日报;2006年

4 岳麟;发展农村信息服务成当务之急[N];太原日报;2007年

5 依一;农村信息服务向多元化社会化网络化发展[N];中国国门时报;2007年

6 周艳侠;农村信息服务工作委员会成立[N];科技日报;2007年

7 记者 崔立勇;农村信息服务工作委员会在京成立[N];中国经济导报;2008年

8 本报记者 林憬辉;农村信息服务重在对口[N];通信信息报;2007年

9 周艳侠;中国互联网协会农村信息服务工作委员会在京成立[N];大众科技报;2007年

10 信文;互联网协会成立农村信息服务工作委员会[N];中国计算机报;2008年

中国博士学位论文全文数据库 前1条

1 陈立平;农村信息服务途径和模式研究[D];中国农业科学院;2006年

中国硕士学位论文全文数据库 前10条

1 王缘;新媒体应用于我国农村信息服务的研究[D];云南大学;2016年

2 张晟;基于Android平台的农村信息服务移动端的设计与实现[D];安徽农业大学;2015年

3 赵永鑫;基于Nutch的农村信息服务移动搜索引擎研究[D];安徽农业大学;2015年

4 朱志勇;我国农村信息服务平台及其应用研究[D];华中师范大学;2011年

5 蒋萍;江苏农村信息服务建设中的问题和对策研究[D];南京邮电大学;2011年

6 王君君;农村信息服务影响因素分析[D];长江大学;2012年

7 成兰;信息管理理论视角下我国农村信息服务组织建构研究[D];上海师范大学;2009年

8 蒋锋;基于项目管理的农村信息服务建设[D];南京邮电大学;2012年

9 何丽贞;莆田市农村信息服务供给研究[D];福建农林大学;2013年

10 肖P;农村信息服务需求影响因素研究[D];复旦大学;2009年

，

本文编号：1068663