基于MapReduce的内存并行Join算法研究

发布时间：2017-10-09 08:19

  本文关键词：基于MapReduce的内存并行Join算法研究

  更多相关文章： 内存连接 数据封装 MapReduce

【摘要】：传统的并行Join算法缺少必要的容错能力,且数据划分不均往往导致单个线程的阻塞成为整个任务执行的瓶颈。针对以上问题,分析内存连接的各个阶段对Join算法性能的影响,提出一种可利用MapReduce的动态机制,避免了传统并行连接算法的数据任务分派不均和容错问题。算法使用MapReduce编程框架,并通过封装分块标记减少MapReduce Join执行过程中标记和排序的计算开销,使算法性能显著提高。实验结果表明,该算法在共享内存体系结构下,性能上相比已有算法有显著改进。
【作者单位】： 中国科学技术大学计算机科学与技术学院;安徽省高性能计算重点实验室;
【关键词】： 内存连接 数据封装 MapReduce
【分类号】：TP338.6
【正文快照】： 0引言当前,随着大数据时代的来临,MapReduce由于其具有良好的可扩展性和容错性,已经被广泛应用于面向数据处理的应用中。MapReduce最初是由谷歌工程师Dean等人在2004年推出[1],其最初的设计目的是处理公司大规模的网络日志数据访问。MapReduce编程模式通过提供一种简单的编程

【相似文献】

中国期刊全文数据库 前10条

1 邹汪平;;一种基于网络安全控制的蜂群算法应用研究[J];吉林师范大学学报(自然科学版);2013年04期

2 李向伟;曹博;;时间参数在HITS算法中的应用及改进[J];兰州工业高等专科学校学报;2006年02期

3 吴涛;彭笃学;;一种改进的直线段裁剪算法[J];湛江师范学院学报;2008年03期

4 张瑞子;南琳;胡琨元;田景贺;;基于EPC Class-1 Gen-2标准的防冲突算法与改进[J];计算机工程;2009年02期

5 黄超;周宁;倪佑生;;基于蚁群算法的攻击图分析[J];计算机工程;2009年18期

6 秦永彬;许道云;;警示传播算法的原理分析及算法改进[J];计算机工程与应用;2010年19期

7 郭毅可;韩锐;;云计算中的弹性算法:概要和展望[J];上海大学学报(自然科学版);2013年01期

8 牛玉静;唐棣;;双步圆的反走样生成算法[J];计算机工程与应用;2010年23期

9 肖璞;;XML索引更新算法的改进[J];南京工程学院学报(自然科学版);2010年03期

10 周骏;陈鸣;张佳明;;两类频繁项算法在网络流上的适用性评估[J];计算机工程;2011年16期

中国重要会议论文全文数据库 前10条

1 黄纪武;毛泽华;李松涛;张锦雄;;SPMD并行查找算法的MPI实现[A];广西计算机学会——2004年学术年会论文集[C];2004年

2 黄纪武;毛泽华;李松涛;张锦雄;;SPMD并行查找算法的MPI实现[A];广西计算机学会2004年学术年会论文集[C];2004年

3 符丽锦;覃华;邓海;孙欣;;一种改进的Apriori算法的研究[A];广西计算机学会2012年学术年会论文集[C];2012年

4 王东锋;王军民;陈英武;;模糊定性仿真理论研究与算法实现[A];'2000系统仿真技术及其应用学术交流会论文集[C];2000年

5 赵唯;;晶粒度评级的改进算法[A];中国图象图形科学技术新进展——第九届全国图象图形科技大会论文集[C];1998年

6 刘启文;;可扩展的图形学算法演示系统的研究[A];’2004计算机应用技术交流会议论文集[C];2004年

7 佘智;蒋泰;朱延生;;基于Type C协议的防冲突改进算法[A];广西计算机学会25周年纪念会暨2011年学术年会论文集[C];2011年

8 朱绍文;赵培;朱秋云;;基于pSPADE并行挖掘序列算法的研究[A];2003年中国智能自动化会议论文集（下册）[C];2003年

9 杨霞;;新的基于启发式蚁群算法的QoS路由算法[A];广西计算机学会2009年年会论文集[C];2009年

10 陈黎飞;姜青山;董槐林;;基于图形轮廓的快速聚类算法[A];第二十三届中国数据库学术会议论文集（研究报告篇）[C];2006年

中国博士学位论文全文数据库 前10条

1 钟永腾;基于近场MUSIC算法的复合材料结构健康监测研究[D];南京航空航天大学;2014年

2 刘燕;入侵杂草优化算法在阵列天线综合中的应用[D];西安电子科技大学;2015年

3 苗义烽;突发事件下的列车运行调度模型与算法研究[D];中国铁道科学研究院;2015年

4 杨玉婷;头脑风暴优化算法与基于视频的非接触式运动定量分析方法研究[D];浙江大学;2015年

5 单美静;求解非线性实代数系统的混合算法研究[D];华东师范大学;2008年

6 邱剑锋;人工蜂群算法的改进方法与收敛性理论的研究[D];安徽大学;2014年

7 潘磊;若干社区发现算法研究[D];南京大学;2014年

8 陈俊波;频繁闭合项集挖掘算法及应用研究[D];浙江大学;2009年

9 陆楠;关联规则的挖掘及其算法的研究[D];吉林大学;2007年

10 范洪博;快速精确字符串匹配算法研究[D];哈尔滨工程大学;2011年

中国硕士学位论文全文数据库 前10条

1 安世勇;命题逻辑中随机3-SAT问题算法研究[D];西南交通大学;2015年

2 毕晓庆;油气探矿权竞争性出让系统设计与实现[D];中国地质大学(北京);2015年

3 王明明;铁路大机与线路固定设施间距检测算法研究[D];西南交通大学;2015年

4 李静;基于视频图像序列的运动目标检测与跟踪算法研究[D];宁夏大学;2015年

5 刘贝玲;基于天地图的租房平台开发及其关键技术研究[D];西南交通大学;2015年

6 曹海锋;IDS中串匹配臭算法并行优化研究[D];西安建筑科技大学;2015年

7 周攀;基于蚁群算法的山区高速铁路隧道火灾应急疏散最优路径研究[D];西南交通大学;2015年

8 张路奇;基于改进蚁群算法的WSN路由协议的研究[D];中国地质大学(北京);2015年

9 王晓晨;入侵杂草优化算法的应用与改进[D];长安大学;2015年

10 信琴琴;手势控制和识别算法研究[D];闽南师范大学;2015年

，

本文编号：999120