基于云计算Hadoop异构集群的并行作业调度算法
本文关键词：基于云计算Hadoop异构集群的并行作业调度算法
【摘要】：针对Hadoop异构集群中计算和数据资源的不一致分布所导致的调度性能较低的缺点,设计了一种基于Hadoop集群和改进Late算法的并行作业调度算法;首先,介绍了基于Hadoop框架和Map-Reduce模型的调度原理,然后,在经典的Late调度算法的基础上,对Map任务和Reduce任务的各阶段执行时间进度比例进行存储和更新,为了进一步地提高调度效率,将慢任务迁移到本地化节点或离数据资源较近的物理节点上,并给了基于改进Late算法的作业调度流程;为了验证文中方法,在Hadoop集群系统上测试,设定1个为Jobtracker主控节点和7个为TaskTracker节点,实验结果表明文中方法能实现异构集群的作业调度,且与其它方法比较,具有较低的预测误差和较高的调度效率。
【作者单位】： 嘉应学院计算机学院;郑州铁路职业技术学院软件学院;
【关键词】： 云计算 作业调度 集群资源 慢任务
【基金】：广东省高校优秀青年创新人才培养计划基金资助项目(LYM10121)
【分类号】：TP393.01
【正文快照】： 0引言云计算[1-2](Cloud computing)是一个虚拟化的资源池,是在分布式计算、网格计算的基础上发展而来,具有透明性、可扩展性、可伸缩性、冗余性和可用性等特点。Hadoop[3-5]是Map-Reduce调度方式和HDFS(HadoopDistributed File System)数据存储方式的开源实现。Hadoop采用主
【相似文献】
中国期刊全文数据库 前10条
1 梁毅,孟丹,樊建平;RB-FIFT——一种结合Firstfit及预约回填策略的机群作业调度算法[J];计算机研究与发展;2004年11期
2 邓勇;王汝传;张琳;陈娟;;基于移动代理的网格作业调度模型的研究[J];南京邮电大学学报(自然科学版);2008年05期
3 张伟哲;胡铭曾;李斌;高雷;;计算网格环境下多址作业调度系统模型研究[J];华中科技大学学报(自然科学版);2005年S1期
4 郭改文;赵冰;;校园网格及其作业服务的研究[J];河南教育学院学报(自然科学版);2006年02期
5 刘阳;童小念;;基于遗传模拟退火算法的网络负载均衡研究[J];计算机与数字工程;2008年09期
6 金海,陈刚,赵美平;容错计算网格作业调度模型的研究[J];计算机研究与发展;2004年08期
7 张晓杰;孟庆春;曲卫芬;;基于蚁群优化算法的服务网格的作业调度[J];计算机工程;2006年08期
8 王中生;钱卫平;;基于QoS的网格作业调度研究与设计[J];国外电子测量技术;2008年11期
9 韩光法;王汝传;;基于移动代理在网格计算中的结构模型研究[J];计算机科学;2004年10期
10 赵晨阳;杨裔;刘礼;李廉;;基于蚂蚁算法的网格作业调度研究[J];微电子学与计算机;2007年09期
中国重要会议论文全文数据库 前8条
1 刘礼;杨裔;火久元;刘海迪;李振芳;李廉;;数学网络集成环境作业调度系统模型[A];2006年全国理论计算机科学学术年会论文集[C];2006年
2 陈娟;王汝传;;基于移动代理的网格作业管理模型的研究[A];2005通信理论与技术新进展——第十届全国青年通信学术会议论文集[C];2005年
3 赵晨阳;杨裔;刘礼;李廉;;基于蚂蚁算法的网格作业调度研究[A];2007年全国开放式分布与并行计算机学术会议论文集(上册)[C];2007年
4 张伟哲;刘欣然;云晓春;张宏莉;胡铭曾;刘凯鹏;;信任驱动的网格作业调度算法[A];全国网络与信息安全技术研讨会'2005论文集（上册）[C];2005年
5 叶建伟;方滨兴;张宏莉;;基于节点相似度的容错网格作业调度算法研究[A];全国网络与信息安全技术研讨会论文集（下册）[C];2007年
6 冯建周;王晓寰;孔令富;;基于Condor-G实现网格作业提交和跨域调度[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用（CACIS）学术会议论文集[C];2007年
7 李崧;崔建生;何青;;建设校园计算网格，提升整体科研实力[A];北京高教学会实验室工作研究会2007年学术研讨会论文集[C];2007年
8 殷杰;王跃宣;吴澄;;网格服务建模分析[A];2006年全国开放式分布与并行计算学术会议论文集（二）[C];2006年
中国重要报纸全文数据库 前5条
1 ;IT系统运行质量的保障者[N];网络世界;2003年
2 ;日立: 实现管理的自动化[N];计算机世界;2004年
3 ;高效管理体现价值[N];中国计算机报;2004年
4 祁金华;云计算与网格计算的深入比较[N];网络世界;2008年
5 ;获奖产品：Unicenter Enterprise Command Center[N];计算机世界;2003年
中国博士学位论文全文数据库 前7条
1 陶永才;网格环境下作业可靠调度机制的研究[D];华中科技大学;2009年
2 张浩;基于结构化对等网络的高性能计算平台关键技术研究[D];华中科技大学;2009年
3 梁毅;面向网络计算的作业调度系统关键技术研究[D];中国科学院研究生院（计算技术研究所）;2005年
4 李波;支持网格资源预留的作业调度算法研究[D];华中科技大学;2005年
5 武斌;网格市场环境下资源调度机制研究[D];中国科学技术大学;2010年
6 陈海勇;网格作业调度关键技术研究[D];解放军信息工程大学;2009年
7 杨冬菊;异构集群管理系统的关键技术研究[D];西北工业大学;2002年
中国硕士学位论文全文数据库 前10条
1 何林;面向网格计算的多集群间作业调度策略的设计与实现[D];哈尔滨工业大学;2012年
2 郑庆华;网格计算中的调度问题研究[D];中国科学院研究生院（计算技术研究所）;2006年
3 崔海;计算网格中的作业调度性能分析[D];青岛大学;2007年
4 侯正雄;校园计算网格环境下作业管理的研究与实现[D];西北工业大学;2005年
5 支丽艳;一个网格资源管理系统的设计和实现[D];苏州大学;2006年
6 黄义番;基于性能量化矩阵的网格作业调度问题研究[D];武汉理工大学;2009年
7 李e，
本文编号：592621
本文链接：https://www.wllwen.com/guanlilunwen/ydhl/592621.html
