基于Solr的企业搜索引擎的研究与实现

发布时间：2020-06-13 12:07

【摘要】：随着互联网技术的快速发展，以及企业的日益国际化，使企业间的竞争越来越激烈。如何能更及时、精确且全面的找到公司内部信息，对于一个企业来说是相当重要的。虽然Google等大型商业搜索引擎也能实现企业内部的检索功能，但由于其商业性及大众化，导致这种选择存在很大的缺陷。因此，如何有效利用现有主流搜索引擎技术，更快捷、更方便的搭建自己的企业内部搜索引擎，成为目前重要的研究课题。 本课题就是针对这种需求，分析企业搜索引擎的必要性及实现方案，本文基于Solr进行企业搜索引擎的研究过程中，先对搜索引擎的概念以及系统结构进行介绍，接着深入研究全文索引技术和信息检索技术，并重点介绍本文系统所涉及到的关键技术及经典算法。同时还对Solr的有关内容进行分析与应用，如中文分词器MMSeg4j、Solr的Java客户端Solrj、以及Solr的DataImportHandler处理器等。由于Solr是一个独立的企业搜索引擎应用服务器，它对Lucene的一些代码进行封装，具有简单易用、功能强大等特点。本文就是在此基础上，，结合其他关键技术如网络爬虫、信息抽取、中文分词等，设计实现一个小型企业搜索引擎系统。 基于上述分析，并结合基本理论和相关技术的研究，本文最终设计实现了一个基于Solr的小型企业搜索引擎的实例。针对深度抓取工具Heritrix存在碰到即抓的缺陷，本文根据实例特征对Heritrix框架进行改进和扩展，并成功将特定网页下载到本地；研究解析工具HTMLParser的工作原理，并根据实例特点编写代码实现解析模块，同时，将信息存储到MySQL数据库中；通过对Solr的索引和检索框架进行研究及必要的配置，搭建起Solr搜索引擎服务器；研究MMSeg4j中文分词器的四种分词模式，并与Solr进行集成，并通过测试统计出其分词准确度达到98%；针对企业数据几乎存储在数据库这种现状，本文应用Solr的DataImportHandler处理器，将数据库数据导入Solr中，实现了针对企业这个目的；研究并改进Solrj源码实现了搜索功能，并设计了良好的用户界面，进而实现一个完整的企业搜索引擎。最后，在功能上和性能上对本系统进行测试，得出该系统具有查询准确率高、实时性好的特点，且具有较好的实际应用价值。
【学位授予单位】：浙江理工大学
【学位级别】：硕士
【学位授予年份】：2013
【分类号】：TP391.3

【相似文献】

相关期刊论文 前10条

1 满鹏;;全文检索的原理与实现探讨[J];现代情报;2009年07期

2 张贺;;基于搜索引擎的图书馆之城OPAC检索平台[J];科技情报开发与经济;2011年04期

3 马志强;刘利民;苏依拉;马瑞明;;基于Lucene的站内搜索引擎研究[J];内蒙古工业大学学报(自然科学版);2009年01期

4 李静媛;浅谈搜索引擎应用技术[J];天津市财贸管理干部学院学报;2005年01期

5 王仕仲;宁龙兵;;基于Nutch的中文搜索引擎的研究与实现[J];电脑开发与应用;2009年07期

6 杜娟;;Nutch中文分词的研究和改进[J];软件导刊;2011年06期

7 陈刚;卢炎生;;BBS搜索引擎设计与实现[J];微计算机信息;2006年18期

8 王华栋;饶培伦;;基于搜索引擎的中文分词评估方法[J];情报科学;2007年01期

9 芦淑娟;;WebGIS搜索引擎系统研究与实现[J];软件导刊;2007年05期

10 谢峰;刘洪星;;基于Lucene的Web站内搜索引擎的研究[J];电脑知识与技术;2008年04期

相关会议论文 前10条

1 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年

2 李丹;;如何利用搜索引擎查找中医药信息[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年

3 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集（研究报告篇）[C];2001年

4 维尼拉·木沙江;吐尔洪·吾司曼;;维、哈、柯文搜索引擎中网页爬行器的设计与实现[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年

5 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年

6 姚树宇;赵少东;;一种使用分布式技术的搜索引擎[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年

7 倪俊峰;;基于黄页搜索引擎的关键字排名广告系统的设计与实现[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年

8 张怡;查贵庭;;SEO在信息服务中的应用研究[A];2010年中国索引学会年会暨学术研讨会论文集[C];2010年

9 陈援非;何哲;朱珍民;;基于普适计算的个性化搜索技术[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年

10 杨萌;李春丽;朱明;;网络搜索技术下的编辑工作[A];学报编辑论丛（第十一集）[C];2003年

相关重要报纸文章 前10条

1 李一鑫;搜索排名的红与黑[N];财经时报;2007年

2 周文林;搜狗3.0能否撼动搜索市场[N];经济参考报;2007年

3 惠正一;比尔·盖茨:微软不怕Google[N];第一财经日报;2005年

4 赛迪顾问股份有限公司互联网与电子商务咨询中心 常燕杰;搜索，还是门户[N];中国计算机报;2005年

5 陈珊;浙江移动推出手机搜索引擎服务[N];人民邮电;2005年

6 赵法忠;搜索引擎还需悠着点[N];中国经营报;2005年

7 金朝力;搜索引擎火拼搜索质量[N];北京商报;2006年

8 本报记者　 赵晓辉 孟昭丽;搜索引擎驶入“避风港”[N];中国证券报;2006年

9 孙t;搜索引擎惊喜侵权官司止于“避风港”？[N];第一财经日报;2006年

10 姜蕊;问天下谁识搜索？[N];中国高新技术产业导报;2006年

相关博士学位论文 前10条

1 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年

2 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年

3 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年

4 刘佐达;分布协作式搜索引擎模型及算法研究[D];清华大学;2011年

5 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年

6 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年

7 王昤璞;基于用户体验的互联网搜索引擎医学信息检索可用性评估研究[D];吉林大学;2010年

8 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年

9 郑文良;基于简单本体的农业P2P搜索引擎关键技术研究[D];沈阳农业大学;2013年

10 白玉琪;空间信息搜索引擎研究[D];中国科学院研究生院（遥感应用研究所）;2003年

相关硕士学位论文 前10条

1 刘琨;搜索引擎的研究与实现[D];西安电子科技大学;2004年

2 李雷;基于Nutch的农业信息搜索引擎实现和优化[D];吉林大学;2011年

3 尉建兴;基于Lucene搜索引擎的研究与应用[D];太原理工大学;2011年

4 徐财应;基于Lucene的搜索引擎技术的研究与改进[D];长春理工大学;2010年

5 张彬;基于lucene的搜索引擎[D];上海师范大学;2010年

6 薛云;Internet上元搜索引擎的研究与设计[D];太原理工大学;2003年

7 王春花;基于Nutch的农业搜索引擎检索结果排序策略的研究[D];西北农林科技大学;2010年

8 董晨;基于模糊聚类的个性化搜索引擎的研究[D];福州大学;2005年

9 封俊;基于Hadoop的分布式搜索引擎研究与实现[D];太原理工大学;2010年

10 李浩;分布式教育网信息检索系统的研究和实现[D];华南理工大学;2010年

本文编号：2711155