基于MPI的分布式搜索引擎设计与实现

  本文关键词：基于MPI的分布式搜索引擎设计与实现，由笔耕文化传播整理发布。

《大连理工大学》 2013年

基于MPI的分布式搜索引擎设计与实现

崔秀峰  

【摘要】：当今世界已经处在了信息时代,随着信息技术尤其是互联网技术的发展,全世界范围内的互联网信息总量一直处于爆炸式的增长。巨大的信息量,已经让人们无法从海量信息里找到自己当前最需要的内容。正是在这样的背景下,搜索引擎开始在人们的网络使用中占据了越来越重要的地位。 教育网内的资源对于高校内部的用户来说非常有价值,但是却是目前主流商用搜索引擎较为忽略的地方。本文的目标就是设计一个专门使用在教育网内的搜索引擎,先期服务目标是一个高校范围内的网页搜索,进而对系统进行扩展,以期提供对整个教育网的网页搜索服务。 在对搜索引擎技术进行深入学习研究的基础上,本文给出了一种基于MPI消息传递机制的分布式搜索引擎的设计,并实现了其中的几大关键模块。整个搜索引擎系统全部采用分布式架构,具备良好的可扩展性。本文在最终成型的系统中,设计实现了基于MPI的分布式PageRank算法,并完成了对大量数据的计算；设计实现了基于MPI的分布式倒排索引算法,并在数据处理上使用了MapReduce计算模型。

【关键词】：
【学位授予单位】：大连理工大学
【学位级别】：硕士
【学位授予年份】：2013
【分类号】：TP391.3
【目录】：

下载全文 更多同类文献

CAJ全文下载

(如何获取全文？ 欢迎：购买知网充值卡、在线充值、在线咨询)

CAJViewer阅读器支持CAJ、PDF文件格式

【相似文献】

中国期刊全文数据库 前10条

1 易清亮;刘克剑;蔡祖恋;;基于P2P技术的大型分布式FTP搜索引擎研究[J];广西师范大学学报(自然科学版);2010年01期

2 赵仲孟,张选平;分布式检索中索引数据分布模型与求解方法[J];计算机工程与设计;2005年08期

3 王世卿;王二红;李洵;;分布式图像检索引擎研究[J];微计算机信息;2007年27期

4 崔凤雷;;郭一平:锁定搜索引擎研发方向,缔造域内资源整合系统[J];高校图书馆工作;2006年02期

5 李华平;周国祥;;基于MIDAS技术的园区网搜索系统设计[J];巢湖学院学报;2008年03期

6 夏旭;生物医学搜索引擎分类现状、原则及其实践[J];医学情报工作;2002年01期

7 余少云;;搜索引擎的发展趋势[J];福建电脑;2006年06期

8 张莲梅,陈红梅,许继红,杨璃,李凌;基于分布式电力资源库的搜索引擎框架设计[J];电力信息化;2005年03期

9 曾宜礼;;搜索引擎技术综述[J];科技情报开发与经济;2007年06期

10 封硕;赵捧未;施水才;;基于RSS的分布式博客搜索引擎的研究[J];情报杂志;2007年08期

中国重要会议论文全文数据库 前10条

1 彭轲;廖闻剑;;浅析搜索引擎[A];中国通信学会第五届学术年会论文集[C];2008年

2 李丹;;如何利用搜索引擎查找中医药信息[A];中国中医药信息研究会第二届理事大会暨学术交流会议论文汇编[C];2003年

3 邓长寿;郭景峰;杨焱林;邓安远;;下一代Web搜索引擎初探[A];第十八届全国数据库学术会议论文集（研究报告篇）[C];2001年

4 维尼拉·木沙江;吐尔洪·吾司曼;;维、哈、柯文搜索引擎中网页爬行器的设计与实现[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年

5 陶冶;刘建勋;唐明董;;基于Map/Reduce的分布式Web服务搜索引擎设计与实现[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年

6 汤薇;曾艳;;构建校园网搜索引擎必要性分析[A];广西计算机学会2008年年会论文集[C];2008年

7 姚树宇;赵少东;;一种使用分布式技术的搜索引擎[A];2005年全国开放式分布与并行计算学术会议论文集[C];2005年

8 倪俊峰;;基于黄页搜索引擎的关键字排名广告系统的设计与实现[A];2005年中国索引学会年会暨学术研讨会论文集[C];2005年

9 张怡;查贵庭;;SEO在信息服务中的应用研究[A];2010年中国索引学会年会暨学术研讨会论文集[C];2010年

10 陈援非;何哲;朱珍民;;基于普适计算的个性化搜索技术[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年

中国重要报纸全文数据库 前10条

1 李一鑫;[N];财经时报;2007年

2 周文林;[N];经济参考报;2007年

3 惠正一;[N];第一财经日报;2005年

4 赛迪顾问股份有限公司互联网与电子商务咨询中心 常燕杰;[N];中国计算机报;2005年

5 陈珊;[N];人民邮电;2005年

6 赵法忠;[N];中国经营报;2005年

7 金朝力;[N];北京商报;2006年

8 本报记者　 赵晓辉 孟昭丽;[N];中国证券报;2006年

9 孙琎;[N];第一财经日报;2006年

10 姜蕊;[N];中国高新技术产业导报;2006年

中国博士学位论文全文数据库 前10条

1 刘佐达;分布协作式搜索引擎模型及算法研究[D];清华大学;2011年

2 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年

3 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年

4 李群;主题搜索引擎聚类算法的研究[D];北京林业大学;2011年

5 苏君华;面向搜索引擎的技术接受模型研究[D];南京大学;2011年

6 郭眈;中文互联网视频搜索引擎系统策略研究[D];北京交通大学;2012年

7 王镠璞;基于用户体验的互联网搜索引擎医学信息检索可用性评估研究[D];吉林大学;2010年

8 李莎莎;面向搜索引擎的自然语言处理关键技术研究[D];国防科学技术大学;2011年

9 白玉琪;空间信息搜索引擎研究[D];中国科学院研究生院（遥感应用研究所）;2003年

10 费巍;搜索引擎检索功能的性能评价研究[D];武汉大学;2010年

中国硕士学位论文全文数据库 前10条

1 薛云;Internet上元搜索引擎的研究与设计[D];太原理工大学;2003年

2 王春花;基于Nutch的农业搜索引擎检索结果排序策略的研究[D];西北农林科技大学;2010年

3 李雷;基于Nutch的农业信息搜索引擎实现和优化[D];吉林大学;2011年

4 董晨;基于模糊聚类的个性化搜索引擎的研究[D];福州大学;2005年

5 封俊;基于Hadoop的分布式搜索引擎研究与实现[D];太原理工大学;2010年

6 李浩;分布式教育网信息检索系统的研究和实现[D];华南理工大学;2010年

7 尉建兴;基于Lucene搜索引擎的研究与应用[D];太原理工大学;2011年

8 李建平;智能化WEB信息搜索引擎的研究与实现[D];大庆石油学院;2003年

9 田生伟;基于涉农词典的搜索引擎的研究与实践[D];新疆大学;2004年

10 欧建斌;基于Web挖掘与信息分类的个性化搜索引擎研究[D];暨南大学;2010年

  本文关键词：基于MPI的分布式搜索引擎设计与实现，，由笔耕文化传播整理发布。