《第十九届全国青年通信学术年会论文集》2014年

发布时间：2016-11-15 21:28

  本文关键词：基于云计算的移动智能终端搜索引擎研究，由笔耕文化传播整理发布。

《第十九届全国青年通信学术年会论文集》2014年

基于Hadoop和Nutch的分布式搜索引擎研究与仿真

白永超  付伟  辛阳  

【摘要】：随着互联网络的发展,网络中存储的信息量急剧增加,搜索引擎在网络中占据着越来越重要的位置。本文基于分布式处理平台Hadoop和开源搜索引擎框架Nutch设计并仿真了一个分布式搜索引擎。Nutch中相关的中文分词切分算法较为简单,识别效率不高,为了改进中文分词算法,本文引入了基于词典的中文分词器IK Analyzer,随后对分词效率进行了测试,测试结果表明中文分词效果有明显改善。

【作者单位】：
【分类号】：TP391.3
【正文快照】：

作用。l弓|胃 随着网络信息量的激增,对搜索引擎的检索深度、反应时间、可扩展性,都提出了较髙的要求,分布式搜新的世纪以来,随着电子设备和3:联网络的高速索引擎应运而生,分布式搜索引擎是将数据和程序分发展,人们进人了一个信息爆炸的时代,尤其近年来,散运行在多台服务器中,

下载全文更多同类文献

PDF全文下载

CAJ全文下载

(如何获取全文？ 欢迎：购买知网充值卡、在线充值、在线咨询)

CAJViewer阅读器支持CAJ、PDF文件格式，AdobeReader仅支持PDF格式

【参考文献】

中国期刊全文数据库 前5条

1 孙殿哲;魏海平;陈岩;;Nutch中庖丁解牛中文分词的实现与评测[J];计算机与现代化;2010年06期

2 赵修文;吕大军;;Nutch中文分词插件的编写与配置[J];科技信息(学术研究);2007年27期

3 詹恒飞;杨岳湘;方宏;;Nutch分布式网络爬虫研究与优化[J];计算机科学与探索;2011年01期

4 李伟;;基于Nutch和Hadoop的分布式搜索引擎探究[J];信息通信;2012年05期

5 朱潜;吴辰铌;朱志良;刘洪娟;;Hadoop云平台下Nutch中文分词的研究与实现[J];小型微型计算机系统;2013年12期

【共引文献】

中国期刊全文数据库 前10条

1 唐勇;;网络论坛爬虫的设计[J];电脑知识与技术;2012年03期

2 刘丰;韩辉;周蕾;齐峻瑶;徐宝梁;;网络信息技术在传染病舆情监测中的应用[J];中国国境卫生检疫杂志;2012年04期

3 许昊;王跃胜;;基于Lucene的FTP搜索引擎的设计与实现[J];福建电脑;2012年07期

4 郎波;张博宇;;面向大数据的非结构化数据管理平台关键技术[J];信息技术与标准化;2013年10期

5 邵景峰;崔尊民;王进富;白晓波;;大数据下纺织制造执行系统的构建[J];纺织器材;2013年06期

6 张亚楠;谭跃生;;基于MapReduce的并行遮盖文本聚类算法[J];内蒙古科技大学学报;2013年03期

7 周国亮;朱永利;王桂兰;;CC-MRSJ:Hadoop平台下缓存敏感的星型联接算法[J];电信科学;2013年10期

8 王鹏;黄焱;刘峰;安俊秀;;大数据技术中计算与数据的协作机制[J];成都信息工程学院学报;2014年01期

9 杜政颉;王鹏;黄焱;郎福通;;一种基于Storm编程模型的迭代Topology方案[J];成都信息工程学院学报;2014年01期

10 范飞;黄文明;邓珍荣;;Oozie工作流在Mahout分布式数据挖掘中的应用[J];桂林电子科技大学学报;2014年01期

中国重要会议论文全文数据库 前4条

1 乔媛媛;刘芳;凌艳;尹劲松;;云计算环境下MapReduce的资源建模与性能预测[A];2013年全国通信软件学术会议论文集[C];2013年

2 Xiaoguang Han;Jigang Sun;Wu Qu;Xuanxia Yao;;Distributed Malware Detection based on Binary File Features in Cloud Computing Environment[A];第26届中国控制与决策会议论文集[C];2014年

3 陈佐旗;余柏蒗;吴健平;;基于GPU通用计算的遥感数据处理——以计算地表太阳辐射值为例[A];第十八届中国环境遥感应用技术论坛论文集[C];2014年

4 李超越;徐国胜;;Hadoop公平调度算法的改进[A];第十九届全国青年通信学术年会论文集[C];2014年

中国博士学位论文全文数据库 前10条

1 王肃;基于多Agent的突发事件信息智能监测系统研究[D];北京邮电大学;2011年

2 李健;云计算环境下最小化运营开销的调度技术研究[D];北京邮电大学;2013年

3 韩晶;大数据服务若干关键技术研究[D];北京邮电大学;2013年

4 程祥;高效可靠的虚拟网络映射技术研究[D];北京邮电大学;2013年

5 李韧;基于Hadoop的大规模语义Web本体数据查询与推理关键技术研究[D];重庆大学;2013年

6 卢风顺;面向CPU/GPU异构体系结构的并行计算关键技术研究[D];国防科学技术大学;2012年

7 孙鹏;动车组维修物联网及其关键技术研究[D];中国铁道科学研究院;2013年

8 肖奎;维基百科大数据的知识挖掘与管理方法研究[D];武汉大学;2013年

9 程兴国;仿生算法的动态反馈机制及其并行化实现方法研究[D];华南理工大学;2013年

10 马冯;数据密集型计算环境下贝叶斯网的学习、推理及应用[D];云南大学;2013年

中国硕士学位论文全文数据库 前10条

1 王小磊;生物医学专题信息跟踪与服务系统关键技术的研究与应用[D];中国人民解放军军事医学科学院;2011年

2 马亚楠;P2P网络中嵌入式搜索引擎的研究与实现[D];北京邮电大学;2012年

3 黄均乐;基于lucene的图像搜索[D];中南民族大学;2008年

4 陈建锋;教学资源搜索平台——SiseNutch[D];华南理工大学;2009年

5 张轩瑜;基于Android的游戏购物平台的设计与实现[D];湖南大学;2012年

6 陆小丽;基于云计算的移动智能终端搜索引擎研究[D];宁波大学;2012年

7 王化鹏;移动环境下的搜索引擎软件系统设计与实现[D];复旦大学;2012年

8 王天怡;基于词典的中文分词算法研究及其在Nutch系统中的应用[D];吉林大学;2012年

9 张芳;校园网搜索引擎中网页去重技术的研究[D];内蒙古科技大学;2012年

10 陶秋红;中文垂直搜索技术的研究与实现[D];河北科技大学;2012年

【二级参考文献】

中国期刊全文数据库 前10条

1 王东;陈笑蓉;;一种改进的高效分词词典机制[J];贵州大学学报(自然科学版);2007年04期

2 雷鸣,刘建国,王建勇,陈葆珏;一种基于词典的搜索引擎系统动态更新模型[J];计算机研究与发展;2000年10期

3 胡长春;刘功申;;面向搜索引擎Lucene的中文分析器[J];计算机工程与应用;2009年12期

4 张庆扬;柴胜;;使用二级索引的中文分词词典[J];计算机工程与应用;2009年19期

5 赫建营;晏海华;金茂忠;刘超;;结合本体筛选和文本挖掘的垂直搜索引擎研究[J];计算机科学;2008年02期

6 郎小伟;王申康;;基于Lucene的全文检索系统研究与开发[J];计算机工程;2006年04期

7 索红光;孙鑫;;针对中文检索的Lucene改进策略[J];计算机应用与软件;2009年06期

8 王继明;杨国林;;基于Lucene的中文文本分词[J];内蒙古工业大学学报(自然科学版);2007年03期

9 曹勇刚;曹羽中;金茂忠;刘超;;面向信息检索的自适应中文分词系统[J];软件学报;2006年03期

10 宋彦;蔡东风;张桂平;赵海;;一种基于字词联合解码的中文分词方法[J];软件学报;2009年09期

【相似文献】

中国期刊全文数据库 前10条

1 严春来;;基于Nutch的个性化搜索引擎的研究与探讨[J];电脑编程技巧与维护;2014年04期

2 夏天;;Nutch的插件机制分析[J];广西师范大学学报(自然科学版);2010年01期

3 马睿;黄穗;;基于补偿的Nutch搜索引擎的设计与实现[J];科学技术与工程;2011年34期

4 顾珺;;基于Nutch的用户行为分析搜索引擎的实现[J];科技资讯;2009年15期

5 郑小波;郑诚;封军;;基于Nutch专题搜索引擎的研究[J];微计算机信息;2010年30期

6 胡涛;路红英;;基于Nutch的搜索引擎的研究[J];计算机时代;2007年01期

7 周鹏;吴华瑞;赵春江;杨宝祝;朱华吉;;基于Nutch农业搜索引擎的研究与设计[J];计算机工程与设计;2009年03期

8 崔宇红;张奎;;基于Nutch的开放存取搜索引擎构建研究[J];现代图书情报技术;2010年10期

9 陈建峡;李倩倩;王春枝;;基于Nutch搜索引擎的E-learning系统开发[J];湖北工业大学学报;2011年05期

10 李伟;;基于Nutch和Hadoop的分布式搜索引擎探究[J];信息通信;2012年05期

中国硕士学位论文全文数据库 前10条

1 陈勃;基于Nutch的企业搜索引擎的研究与实现[D];华中科技大学;2011年

2 李东海;基于Nutch技术的主题搜索引擎实现[D];吉林大学;2008年

3 万文宏;基于Nutch的分布式搜索引擎的研究与优化[D];武汉理工大学;2013年

4 李雷;基于Nutch的农业信息搜索引擎实现和优化[D];吉林大学;2011年

5 时延军;基于Nutch的分布式搜索引擎的设计与研究[D];长春理工大学;2010年

6 夏树倩;基于Nutch的学术搜索引擎的研究与实现[D];东北大学;2011年

7 常智荣;搜索引擎Nutch在数字图书馆中集成应用的研究与实现[D];北京邮电大学;2010年

8 任妤;基于Nutch的科技主题搜索引擎Crawler的研究与实现[D];内蒙古科技大学;2011年

9 马会;基于Nutch和Solr的企业级搜索引擎的研究与实现[D];西安电子科技大学;2014年

10 贺鹏程;基于Nutch技术的辛亥革命本体搜索引擎的设计与实现[D];华中师范大学;2011年

《中国学术期刊（光盘版）》电子杂志社有限公司
同方知网数字出版技术股份有限公司
地址：北京清华大学 84-48信箱 大众知识服务
京ICP证040441号
互联网出版许可证 新出网证（京）字008号
出版物经营许可证 新出发京批字第直0595号

订购热线：400-819-9993 010-62982499
服务热线：010-62985026 010-62791813
在线咨询：
传真：010-62780361
京公网安备11010802020475号

  本文关键词：基于云计算的移动智能终端搜索引擎研究，由笔耕文化传播整理发布。

，

本文编号：176310