基于IaaS云平台的Hadoop资源调度策略研究

发布时间：2017-03-29 20:25

  本文关键词：基于IaaS云平台的Hadoop资源调度策略研究，，由笔耕文化传播整理发布。

【摘要】：云计算是当前国内外研究的热点领域之一,它通过网络整合计算、存储、网络等资源,并且将这些资源按需提供给用户使用。Hadoop是一个开源的分布式系统框架,可以实现大规模的数据计算和存储,通常部署在服务器集群中。将Hadoop部署在IaaS云环境有诸多益处,但IaaS云为Hadoop提供的环境和传统的物理集群存在差异。本文主要研究将Hadoop部署在IaaS云环境,在以下三个方面开展研究性工作：(1)考虑到IaaS云环境中Hadoop不能了解底层物理主机的资源使用情况,为合理利用物理主机的资源和增强虚拟集群的可伸缩性,本文设计将Hadoop f口IaaS云融合的DHCI(Dynamic Hadoop Cluster on IaaS)架构。在DHCI架构中,除私有云和Hadoop原有的套件外,增加监控模块、虚拟机管理模块和调度模块。监控模块收集物理主机负载信息,为Hadoop资源调度研究提供了依据；虚拟机管理模块和调度模块实现集群灵活的伸缩。(2)在DHCI架构基础上,本文提出基于物理主机负载反馈的资源调度策略。通过调度模块获取的物理主机负载信息,并对这些负载信息进行分级处理,确保Hadoop进行资源分配时,有效避免将资源分配给负载过重的物理主机,实现物理主机负载的均衡。(3)本文在Hadoop集群中使用计算节点和存储节点相分离的部署策略,虽然可以较好地保证集群的可伸缩性,但在一定程度上破坏了Hadoop的数据本地性。为此,本文设计IaaS云平台上动态虚拟机迁移策略。基于“移动计算”的思想,充分考虑运算资源特点,将不满足本地性要求的计算节点迁移到相应存储节点所在的物理主机或机架上,以减轻带宽资源的消耗,进而提高系统的性能。最后,本文选用开源的计算管理平台OpenStack作为IaaS云平台,对所提出系统架构和策略进行实现。采用Hadoop勺性能测试工具Hibench实现系统性能测试。结果表明：在运行相同的任务情况下,DHCI架构完成时间要少于普通Hadoop集群。在任务运行过程中,对物理主机负载数据进行统计,可以发现DHCI架构下物理主机之间的负载比普通Hadoop集群更为均衡。在Hadoop数据本地性测试中,在执行相同任务情况下,经过本地性优化Hadoop集群的任务运行时间少于未经过本地性优化的集群。
【关键词】：云计算 Hadoop 资源调度 负载均衡 弹性伸缩 OpenStack
【学位授予单位】：北京交通大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP393.09
【目录】：

• 致谢5-6
• 摘要6-7
• ABSTRACT7-11
• 1 引言11-16
• 1.1 研究背景及意义11-12
• 1.2 国内外研究现状12-14
• 1.2.1 国外研究现状12-13
• 1.2.2 国内研究现状13-14
• 1.3 研究内容及创新点14-15
• 1.4 论文结构安排15-16
• 2 云计算相关技术16-22
• 2.1 云计算定义与特点16-17
• 2.2 云计算关键技术及类型17-18
• 2.3 OpenStack相关技术18-21
• 2.4 小结21-22
• 3 Hadoop分布式平台相关技术22-31
• 3.1 HDFS文件系统22-25
• 3.2 MapReduce计算模型25-26
• 3.3 下一代Hadoop计算平台YARN26-28
• 3.4 Hadoop作业调度算法28-29
• 3.5 小结29-31
• 4 基于负载反馈的Hadoop资源调度设计31-43
• 4.1 研究背景31-33
• 4.2 核心系统架构设计33-36
• 4.3 基于负载反馈的资源调度策略36-40
• 4.3.1 算法思想36-38
• 4.3.2 调度策略流程38-40
• 4.4 IaaS云上Hadoop弹性伸缩策略40-42
• 4.5 小结42-43
• 5 基于动态迁移的Hadoop数据本地性策略43-50
• 5.1 研究背景43-45
• 5.2 本地性策略设计45-49
• 5.3 小结49-50
• 6 动态可配置Hadoop架构的实现50-55
• 6.1 系统架构实现50-53
• 6.2 OpenStack中虚拟机迁移的实现53-54
• 6.3 小结54-55
• 7 实验测试及结果分析55-65
• 7.1 实验环境及测试平台搭建55-56
• 7.2 实验结果及性能分析56-63
• 7.3 小结63-65
• 8 总结与展望65-67
• 8.1 工作总结65
• 8.2 工作展望65-67
• 参考文献67-70
• 作者简历及攻读硕士学位期间取得的研究成果70-72
• 学位论文数据集72

【相似文献】

中国期刊全文数据库 前10条

1 王];郑树琴;;调度策略在并行机调度仿真的应用[J];机械管理开发;2013年01期

2 王浩,钟玉琢;一种新的基于流合并的调度策略[J];计算机学报;2001年03期

3 张丽晓,袁立强,徐炜民;基于任务类型的集群调度策略[J];计算机工程;2004年13期

4 宁凝;钱省三;孟志雷;;带有工艺约束的并行多机调度策略[J];工业工程;2008年02期

5 刘宴兵;李秉智;幸云辉;;宽带路由器输入排队调度策略的综合研究[J];计算机科学;2002年03期

6 杨祥茂;谭曦;;基于网络资源消费者模型的调度策略[J];计算机科学;2003年09期

7 黄敏;姚正林;刘金刚;;网络QoS调度策略的分析与研究[J];计算机工程与应用;2006年29期

8 方泳;袁召云;;环行穿梭车调度策略的仿真研究[J];物流技术与应用;2012年04期

9 胡敏,陶洋;基于网络配置管理的调度策略分析[J];数字通信;1999年04期

10 王振凯,刘斌,徐光yP;核心无状态虚拟时钟调度策略[J];清华大学学报(自然科学版);2003年01期

中国重要会议论文全文数据库 前10条

1 胡子敬;李红燕;;一种资源共享情况下的连续查询算子调度策略[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年

2 林志红;;照口水电厂优化调度策略的分析[A];福建省科学技术协会第八届学术年会分会场——提高水电站水库调度技术 推进海西经济建设研讨会论文集[C];2008年

3 黄锦涛;何加铭;陈平;贾德祥;;基于移动中间件抽象层调度策略研究[A];浙江省电子学会2010学术年会论文集[C];2010年

4 王冰;谷寒雨;席裕庚;;大规模单机静态调度的终端约束滚动策略[A];第二十二届中国控制会议论文集（下）[C];2003年

5 赵千川;郑大钟;;一类HDS的事件反馈型最优调度策略[A];1996年中国控制会议论文集[C];1996年

6 赵千川;郑大钟;;CLB调度策略的性能估计[A];1998年中国控制会议论文集[C];1998年

7 方剑;席裕庚;;动态环境下的Job Shop周期性滚动调度策略[A];1996中国控制与决策学术年会论文集[C];1996年

8 淡图南;朱立平;颜纪迅;;一种基于时间触发的安全关键操作系统混合调度策略[A];全面建成小康社会与中国航空发展——2013首届中国航空科学技术大会论文集[C];2013年

9 郭红星;彭嘉丽;盛涛;田婷;张爱华;;无线多用户视频流中支持内容感知的包调度策略[A];第四届和谐人机环境联合学术会议论文集[C];2008年

10 李茂增;王丹;杜东明;;一种数据流查询操作符的调度策略[A];第二十四届中国数据库学术会议论文集（技术报告篇）[C];2007年

中国重要报纸全文数据库 前1条

1 戈;国华集群负载优化系统具备八项功能[N];电脑商报;2007年

中国博士学位论文全文数据库 前8条

1 周浏阳;网络控制系统中调度策略的设计与延时的处理[D];哈尔滨工业大学;2015年

2 Rabee Furkan Hassan Saleh;[D];电子科技大学;2015年

3 张晔;基于模块的调度策略及其对多处理器系统的支持[D];中国科学技术大学;2009年

4 曾碧卿;分布式计算中并行I/O调度策略研究[D];中南大学;2005年

5 何忠贺;切换服务网络的稳定性及交通信号控制应用[D];北京工业大学;2013年

6 王文乐;基于替代/补偿的实时事务处理策略研究[D];江西财经大学;2013年

7 王书举;车辆控制系统局域网络（CAN）调度策略研究[D];东北大学;2011年

8 张金艺;可重构SoC DFT架构与TLB测试调度策略研究[D];上海大学;2009年

中国硕士学位论文全文数据库 前10条

1 丁富淮;嵌入式Linux系统的二级调度策略优化技术及应用[D];苏州大学;2015年

2 成先镜;公共自行车两阶段调度策略与模型及求解方法研究[D];南京师范大学;2015年

3 赵金涛;虚拟单元制造中考虑随机扰动的多级动态稳健调度策略研究[D];江苏科技大学;2015年

4 张晏;OpenStack的拓扑可视化监控技术研究与实现[D];电子科技大学;2014年

5 殷洪海;云环境下基于改进蚁群算法的资源调度策略[D];电子科技大学;2014年

6 王润泽;CPU与GPU混合虚拟化资源高效调度策略[D];上海交通大学;2015年

7 童毅;基于MapReduce模型的云平台调度策略优化研究[D];南京邮电大学;2015年

8 苏孝明;考虑大规模间歇性能源接入的调度策略研究[D];华北电力大学;2015年

9 王炳旭;基于IaaS云平台的Hadoop资源调度策略研究[D];北京交通大学;2016年

10 李振双;云计算环境下资源调度策略的研究与实现[D];北京邮电大学;2014年

  本文关键词：基于IaaS云平台的Hadoop资源调度策略研究，由笔耕文化传播整理发布。

本文编号：275365