基于Hadoop的海运业分布式搜索引擎的应用研究

发布时间：2017-11-15 11:03

  本文关键词：基于Hadoop的海运业分布式搜索引擎的应用研究

  更多相关文章： 海运业 Hadoop Map/Reduce 分布式文件系统 搜索引擎

【摘要】：针对海运业务系统越来越复杂,区域间数据交换日益频繁,致使海运企业无法高效、稳定地使用传统体系处理业务信息的问题,采用Map/Reduce分布式计算模型以及分布式文件系统,设计了一个基于Hadoop的分布式搜索引擎.该搜索引擎能够使海运企业在合理时间内获取、管理、处理业务信息.通过该分布式搜索引擎,可以高效、稳定地满足海运企业日益繁重的庞大的业务需求.
【作者单位】： 西安工程大学计算机科学学院;西安西翼智能科技有限公司;
【基金】：国家科技支援计划资助项目(2006BAF01A44) 中国纺织工业协会科技指导性资助项目(2010076) 陕西省教育厅专项科研计划资助项目(12JK0931,12JK0947) 西安工程大学基础研究资助项目(XGJ07008)
【分类号】：TP391.3
【正文快照】： 搜索引擎的产生和发展,与互联网的蓬勃发展密不可分.目前,几大通用搜索引擎,如Baidu、Google、360等已经牢牢控制了搜索引擎市场.Google每天需要处理海量数据和复杂计算,在保证系统延展性和良好运行效率的基础上,都可以通过架构在廉价集群之上的云计算平台得以实现[1].但中小

【参考文献】

中国期刊全文数据库 前2条

1 吴宝贵;丁振国;;基于Map/Reduce的分布式搜索引擎研究[J];现代图书情报技术;2007年08期

2 刘书华;焦林;;基于云计算的汽车车牌自动识别系统[J];西安工程大学学报;2013年03期

中国博士学位论文全文数据库 前1条

1 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年

【共引文献】

中国期刊全文数据库 前10条

1 陈军;卢涵宇;姚丹丹;;一种基于处理时间的Map/Reduce动态均衡调度算法[J];江西师范大学学报(自然科学版);2013年01期

2 李萍;;基于Hadoop的K—Means聚类算法在高校图书馆工作中的应用研究[J];大学图书情报学刊;2014年05期

3 刘兴强;杨桃;范云琳;陈婷婷;闫自金;宋绍云;;内网搜索引擎算法的分析与研究[J];电脑知识与技术;2014年01期

4 魏爽;;基于云计算的大规模网页日志挖掘研究[J];电脑知识与技术;2014年28期

5 李成华;张新访;金海;向文;;MapReduce:新型的分布式并行计算编程模型[J];计算机工程与科学;2011年03期

6 陆小丽;何加铭;;基于Map/Reduce的索引数据云存储模型研究[J];宁波大学学报(理工版);2011年03期

7 方少卿;周剑;张明新;;基于Map/Reduce的改进选择算法在云计算的Web数据挖掘中的研究[J];计算机应用研究;2013年02期

8 栾景超;马志强;李昊u&;董科军;;Hadoop分布式文件系统资源管理器的设计与实现[J];科研信息化技术与应用;2014年01期

9 孙想;吴华瑞;李庆学;;农业海量信息资源管理平台设计与实现[J];计算机应用与软件;2015年03期

10 朱维乔;;面向大数据的机构知识库构建模式创新研究[J];图书馆学研究;2014年13期

中国重要会议论文全文数据库 前1条

1 王斌;;移动互联网定位技术分析及融合方式探讨[A];2012全国无线及移动通信学术大会论文集（下）[C];2012年

中国博士学位论文全文数据库 前3条

1 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年

2 刘佐达;分布协作式搜索引擎模型及算法研究[D];清华大学;2011年

3 陈军;基于G/S模式的空间分析云服务关键技术研究[D];成都理工大学;2012年

中国硕士学位论文全文数据库 前10条

1 凌辰;基于Web服务器远程无缝迁移技术的研究与应用[D];天津理工大学;2010年

2 么士宇;基于分布式计算的网络爬虫技术研究[D];大连海事大学;2011年

3 鱼健榕;基于Nutch的搜索引擎系统的研究与实现[D];北京邮电大学;2011年

4 施岩;云计算研究及Hadoop应用程序的开发与测试[D];北京邮电大学;2011年

5 文军舰;基于Nutch的Web结构挖掘算法研究[D];天津财经大学;2011年

6 杨丽婷;基于云计算数据存储技术的研究[D];中北大学;2011年

7 董长春;基于Hadoop的倒排索引技术的研究[D];辽宁大学;2011年

8 曹挹芬;分布式文件存储与检索平台的设计与实现[D];湖南大学;2009年

9 张文峰;基于MapReduce模型的分布式计算平台的原理与设计[D];华中科技大学;2010年

10 盘隆;基于MapReduce的分布式编程框架的设计与实现[D];哈尔滨工业大学;2011年

【二级参考文献】

中国期刊全文数据库 前10条

1 胡庆华;Web搜索引擎中Mobile Agent动态路由问题研究[J];安徽大学学报(自然科学版);2003年03期

2 陈德礼;;基于JXTA的层次性P2P搜索引擎框架的研究与设计[J];重庆工学院学报(自然科学版);2007年07期

3 赖祖龙;万幼川;申邵洪;徐景中;;基于Hilbert排列码与R树的海量LIDAR点云索引[J];测绘科学;2009年06期

4 曾韬;应用非结构化信息管理技术实现多层次知识管理需求[J];中国传媒科技;2004年06期

5 刘必雄,蔡建兵;当前分布式计算解决方案简介[J];重庆科技学院学报;2005年01期

6 李光雷;张世禄;;云计算在资料查询中的应用初探[J];大连大学学报;2009年06期

7 武晓娟;;基于网站的搜索引擎研究[J];大连海事大学学报;2008年S1期

8 李武装;;基于语义的企业搜索引擎的研究与实现[J];电脑知识与技术(学术交流);2007年08期

9 李海丰;;基于Lucene的企业搜索引擎研究及应用[J];电脑知识与技术;2009年04期

10 张斌;周尔宁;;基于Nutch的分布式纺织垂直搜索引擎研究[J];电脑知识与技术;2009年21期

中国博士学位论文全文数据库 前3条

1 陈治平;智能搜索引擎理论与应用研究[D];湖南大学;2003年

2 李文举;智能交通中图像处理技术应用的研究[D];大连海事大学;2005年

3 李红梅;智能元搜索引擎关键技术研究[D];西安电子科技大学;2009年

中国硕士学位论文全文数据库 前10条

1 潘胜一;基于倒排索引的压缩算法性能研究[D];杭州电子科技大学;2009年

2 孙玲;汉语数字语音识别技术与实现方法研究[D];华中科技大学;2004年

3 彭淑敏;神经网络图像识别技术研究与实现[D];西安电子科技大学;2005年

4 荆涛;基于后缀数组的Web用户访问模式高效挖掘算法[D];吉林大学;2005年

5 高腾;静止背景下运动目标跟踪方法的研究[D];西北大学;2005年

6 卢群;UIMA架构下Web访问信息的研究和应用[D];上海交通大学;2007年

7 王晓悦;企业级搜索引擎Omnifind自动化测试系统的设计与实现[D];北京邮电大学;2007年

8 朱珠;基于Hadoop的海量数据处理模型研究和应用[D];北京邮电大学;2008年

9 张建梁;基于云计算的语义搜索引擎研究[D];复旦大学;2009年

10 王波;基于Lucene的企业搜索引擎[D];北京邮电大学;2009年

【相似文献】

中国期刊全文数据库 前10条

1 逄利华;张锦春;;基于Hadoop的分布式数据库系统[J];办公自动化;2014年05期

2 郑玮;;Hadoop释放大数据潜能[J];软件和信息服务;2012年10期

3 刘尔凯;崔振东;;基于HADOOP技术 实现银行历史数据线上化研究[J];金融电子化;2014年01期

4 邹群;;一种基于Hadoop的数字图书存储系统设计方案[J];黑龙江史志;2014年01期

5 谌章义;毕伟;向万红;王国安;吴爱国;;基于Hadoop的海量电费数据处理模型[J];计算机系统应用;2014年05期

6 ;大数据不等于Hadoop[J];办公自动化;2014年06期

7 ;保障Hadoop数据安全的十大措施[J];计算机与网络;2013年08期

8 王峰;雷葆华;;Hadoop分布式文件系统的模型分析[J];电信科学;2010年12期

9 苏小会;何婧媛;;Hadoop中任务调度算法的改进[J];电子设计工程;2012年22期

10 林伟伟;;一种改进的Hadoop数据放置策略[J];华南理工大学学报(自然科学版);2012年01期

中国重要报纸全文数据库 前8条

1 本报记者 郭涛;机器大数据也离不开Hadoop[N];中国计算机报;2013年

2 本报记者 王星;Hadoop引发大数据之战[N];电脑报;2012年

3 本报记者 邹大斌;Hadoop一体机降低大数据门槛[N];计算机世界;2012年

4 孙定;云计算、大数据与Hadoop[N];计算机世界;2011年

5 乐天　编译;Hadoop：打开大数据之门的金钥匙[N];计算机世界;2012年

6 范范　编译;Hadoop用户可以使用多种搜索引擎[N];网络世界;2013年

7 波波　编译;Hadoop、Web 2.0为磁带带来新商机[N];网络世界;2013年

8 本报记者 郭涛;让更多人能够使用Hadoop[N];中国计算机报;2012年

中国硕士学位论文全文数据库 前10条

1 高仲峰;基于Hadoop平台的桥梁结构健康监测系统的应用[D];西安科技大学;2012年

2 张丽云;基于Hadoop的企业知识管理系统的主要功能的研究与实现[D];东北师范大学;2014年

3 杨宁;基于Hadoop平台的广告检测系统研究与实现[D];复旦大学;2012年

4 张兴平;基于Hadoop的微博用户情感分类研究与实现[D];西安电子科技大学;2014年

5 汤艳;基于Hadoop架构的移动终端云资源访问模式研究与应用[D];北京工业大学;2013年

6 张建;基于Hadoop的云计算模型研究及气象应用[D];南京信息工程大学;2012年

7 邰建华;Hadoop平台下的海量数据存储技术研究[D];东北石油大学;2012年

8 刘寅;Hadoop下基于贝叶斯分类的气象数据挖掘研究[D];南京信息工程大学;2012年

9 李金朋;基于Hadoop平台的重叠社区发现算法研究[D];吉林大学;2014年

10 潘振鹏;基于Hadoop的文本分类系统的设计与实现[D];哈尔滨工业大学;2013年

，

本文编号：1189485