应用于云中MapReduce计算的动态资源调度算法

发布时间：2019-01-17 20:30

【摘要】：越来越多的MapReduce计算由运行在云中虚拟机组成的虚拟集群完成,为增强虚拟MapReduce集群计算中任务的数据本地性,充分利用云计算的资源可动态配置的优势,提出了一种基于队列的动态资源调度算法,并模拟了云计算平台进行测试,实验结果表明动态资源调度算法提高了虚拟MapReduce集群的计算性能.
[Abstract]:More and more MapReduce computing is accomplished by a virtual cluster of virtual machines running in the cloud. In order to enhance the data locality of tasks in virtual MapReduce cluster computing, the resources of cloud computing can be dynamically configured. A dynamic resource scheduling algorithm based on queue is proposed and tested on cloud computing platform. The experimental results show that the dynamic resource scheduling algorithm improves the computing performance of virtual MapReduce cluster.
【作者单位】： 空军工程大学信息与导航学院;
【基金】：陕西省自然科学基金项目(2011JM8035)
【分类号】：TP393.01

【参考文献】

相关期刊论文 前1条

1 李明;胥光辉;戢瑶;;MapReduce编程模型在网络I/O密集型程序中的应用研究[J];计算机应用研究;2011年09期

【共引文献】

相关期刊论文 前10条

1 郎波;张博宇;;面向大数据的非结构化数据管理平台关键技术[J];信息技术与标准化;2013年10期

2 邵景峰;崔尊民;王进富;白晓波;;大数据下纺织制造执行系统的构建[J];纺织器材;2013年06期

3 张亚楠;谭跃生;;基于MapReduce的并行遮盖文本聚类算法[J];内蒙古科技大学学报;2013年03期

4 周国亮;朱永利;王桂兰;;CC-MRSJ:Hadoop平台下缓存敏感的星型联接算法[J];电信科学;2013年10期

5 王鹏;黄焱;刘峰;安俊秀;;大数据技术中计算与数据的协作机制[J];成都信息工程学院学报;2014年01期

6 杜政颉;王鹏;黄焱;郎福通;;一种基于Storm编程模型的迭代Topology方案[J];成都信息工程学院学报;2014年01期

7 范飞;黄文明;邓珍荣;;Oozie工作流在Mahout分布式数据挖掘中的应用[J];桂林电子科技大学学报;2014年01期

8 丁玉成;诸葛晴凤;沙行勉;;云计算环境下排序算法的性能分析[J];重庆大学学报;2014年04期

9 孟令玺;李洪亮;;基于CA-PSO算法的云计算资源调度策略[J];计算机仿真;2013年10期

10 夏秀峰;赵小磊;孔庆云;;MBE与大数据给PDM带来的思考[J];制造业自动化;2013年20期

相关会议论文 前1条

1 华中杰;徐锡山;杨树强;田胜利;;MapReduce本地优先作业调度策略研究与实现[A];第九届中国通信学会学术年会论文集[C];2012年

相关博士学位论文 前10条

1 李健;云计算环境下最小化运营开销的调度技术研究[D];北京邮电大学;2013年

2 韩晶;大数据服务若干关键技术研究[D];北京邮电大学;2013年

3 程祥;高效可靠的虚拟网络映射技术研究[D];北京邮电大学;2013年

4 李韧;基于Hadoop的大规模语义Web本体数据查询与推理关键技术研究[D];重庆大学;2013年

5 卢风顺;面向CPU/GPU异构体系结构的并行计算关键技术研究[D];国防科学技术大学;2012年

6 孙鹏;动车组维修物联网及其关键技术研究[D];中国铁道科学研究院;2013年

7 肖奎;维基百科大数据的知识挖掘与管理方法研究[D];武汉大学;2013年

8 程兴国;仿生算法的动态反馈机制及其并行化实现方法研究[D];华南理工大学;2013年

9 马冯;数据密集型计算环境下贝叶斯网的学习、推理及应用[D];云南大学;2013年

10 韩海雯;MapReduce计算任务调度的资源配置优化研究[D];华南理工大学;2013年

相关硕士学位论文 前10条

1 王娜;云计算在素性检测中的应用[D];成都理工大学;2012年

2 陈贞;HDFS环境下的访问控制技术研究[D];重庆大学;2013年

3 张丹;HDFS中文件存储优化的相关技术研究[D];南京师范大学;2013年

4 潘吴斌;基于云计算的并行K-means气象数据挖掘研究与应用[D];南京信息工程大学;2013年

5 赵洪昌;云计算下的关联分析和模糊聚类研究[D];南京信息工程大学;2013年

6 汪洋;通信网云计算平台资源调度策略与算法研究[D];南昌大学;2013年

7 吕天然;基于MapReduce的可视化工作流遥感并行处理平台及关键技术研究[D];河南大学;2013年

8 但光祥;云计算环境下混合加密算法研究与实现[D];重庆大学;2013年

9 周涛;基于Hadoop的遥感数字图像处理方法研究[D];东北师范大学;2013年

10 程伟;海量信令并行即时分析系统的研究与设计[D];中国海洋大学;2013年

【二级参考文献】

相关期刊论文 前4条

1 栾亚建;黄烂，

本文编号：2410359