基于Map-Reduce模型的云资源调度方法研究

发布时间：2018-02-15 15:55

  本文关键词： 云计算 Map-Reduce 资源调度 粒子群算法 信息熵 混沌扰动　出处：《计算机科学》2015年08期 　论文类型：期刊论文

【摘要】：为提高Map-Reduce模型资源调度问题的求解效能,分别考虑Map和Reduce阶段的调度过程,建立带服务质量(QoS)约束的多目标资源调度模型,并提出用于模型求解的混沌多目标粒子群算法。算法采用信息熵理论来维护非支配解集,以保持解的多样性和分布均匀性;在利用Sigma方法实现快速收敛的基础上,引入混沌扰动机制,以提高种群多样性和算法全局寻优能力,避免算法陷入局部最优。实验表明,算法求解所需的迭代次数少,得到的非支配解分布均匀。Map-Reduce资源调度问题的求解过程中,在收敛性和解集的多样性方面,所提算法均明显优于传统多目标粒子群算法。
[Abstract]:In order to improve the efficiency of resource scheduling problem in Map-Reduce model, considering the scheduling process in Map and Reduce stages, a multi-objective resource scheduling model with QoS constraints is established. A chaotic multi-objective particle swarm optimization algorithm is proposed to solve the model. The information entropy theory is used to maintain the non-dominated solution set in order to maintain the diversity and distribution uniformity of the solution. Chaotic perturbation mechanism is introduced to improve population diversity and global optimization ability of the algorithm, and to avoid the algorithm falling into local optimum. The experimental results show that the algorithm requires less iterations to solve the problem. The proposed algorithm is superior to the traditional multi-objective particle swarm optimization algorithm in terms of convergence and diversity of solution sets in the process of solving the undominated solution uniformly distributed .Map-Reduce resource scheduling problem.
【作者单位】： 解放军信息工程大学三院;
【基金】：国家自然科学基金项目(61303074,61309013) 国家重点基础研究发展计划(“973”计划)基金项目(2012CB315900)资助
【分类号】：TP18;TP393.01

【参考文献】

相关期刊论文 前8条

1 孙大为;常桂然;李凤云;王川;王兴伟;;一种基于免疫克隆的偏好多维QoS云资源调度优化算法[J];电子学报;2011年08期

2 孙黎阳;林剑柠;毛少杰;刘中;;基于改进粒子群优化算法的网络化仿真任务共同体服务选择[J];兵工学报;2012年11期

3 李建锋;彭舰;;云计算环境下基于改进遗传算法的任务调度算法[J];计算机应用;2011年01期

4 张春艳;刘清林;孟珂;;基于蚁群优化算法的云计算任务分配[J];计算机应用;2012年05期

5 梁静;许波;葛宇;;基于改进蛙跳策略的Map-Reduce作业调度算法[J];计算机应用研究;2013年07期

6 裴胜玉;周永权;;一种基于混沌变异的多目标粒子群优化算法[J];山东大学学报(理学版);2010年07期

7 罗军舟;金嘉晖;宋爱波;东方;;云计算:体系架构与关键技术[J];通信学报;2011年07期

8 ;Cloud Computing(4)[J];ZTE Communications;2010年04期

【共引文献】

相关期刊论文 前10条

1 孙传明;路红;廖龙龙;;基于云操作系统的网络互动学习平台开发研究[J];中国远程教育;2012年06期

2 王杰;;基于云计算的实验机房解决方案[J];电脑知识与技术;2011年31期

3 许知博;刘钊;;基于云计算的工厂信息监测系统设计[J];电子科技;2012年05期

4 赵英;李栋;;改进的Min-Min网格任务调度算法[J];电子设计工程;2012年12期

5 杨金花;;云计算关键技术的探讨[J];电子设计工程;2012年15期

6 刘愉;赵志文;李小兰;孔令荣;于淑环;于妍芳;;云计算环境中优化遗传算法的资源调度策略[J];北京师范大学学报(自然科学版);2012年04期

7 林强;罗欢;;跨数据中心一体化协同分布式云管理平台建设[J];广东电力;2012年08期

8 过志宏;刘文杰;刘大勇;王文明;;基于管控一体化的企业私有云平台建设研究[J];电力信息化;2012年07期

9 陈金华;李忠;;基于云计算的农村社区教育信息化架构设计研究[J];重庆邮电大学学报(自然科学版);2012年06期

10 李建敦;彭俊杰;张武;;云存储中一种基于布局的虚拟磁盘节能调度方法[J];电子学报;2012年11期

相关会议论文 前10条

1 ;Typical Cloud Computing System Design[A];Information Technology and Computer Science—Proceedings of 2012 National Conference on Information Technology and Computer Science[C];2012年

2 关亚东;;财经传媒数据中心的发展趋势[A];中国新闻技术工作者联合会2013年学术年会、五届五次理事会暨第六届“王选新闻科学技术奖”和优秀论文奖颁奖大会论文集（广电篇）[C];2013年

3 LI Yongxiang;YAO Xifan;ZHANG Jie;LI Bin;;Cloud Manufacturing Service Composition Modeling and Formal Verification Based on Calculus for Orchestration of Web Service[A];第25届中国控制与决策会议论文集[C];2013年

4 张玮;牛正浩;史慧玲;孙萌;唐绍炬;;多目标优化的云计算虚拟集群动态调整方法[A];山东计算机学会2013学术年会论文集[C];2013年

5 孙英华;郭振波;吴哲辉;杜乐乐;;基于混合云市场的计算资源交易模型的研究[A];山东计算机学会2013学术年会论文集[C];2013年

6 刘海光;潘毅;李立新;;基于云计算的智能电网经济调度研究[A];2013年中国电机工程学会年会论文集[C];2013年

7 赵天然;刘陈荣;;基于云计算技术的企业门户[A];2013电力行业信息化年会论文集[C];2013年

8 潘送军;周沿东;;浅谈开发测试资源池的建设及应用[A];电力行业信息化优秀论文集2013[C];2013年

9 司炜;;IT支撑系统云计算资源池实现研究[A];2013年中国通信学会信息通信网络技术委员会年会论文集[C];2013年

10 周宇光;陈振义;盛中华;;探索云计算技术在企业信息化建设中的应用[A];第十六届中国科协年会——分7绿色设计与制造信息技术创新论坛论文集[C];2014年

相关博士学位论文 前10条

1 康俊锋;云计算环境下高分辨率遥感影像存储与高效管理技术研究[D];浙江大学;2011年

2 陈洪富;HAZ-China地震灾害损失评估系统设计及初步实现[D];中国地震局工程力学研究所;2012年

3 陈亚睿;云计算环境下用户行为认证与安全控制研究[D];北京科技大学;2012年

4 孙伟;林业资源信息云计算服务体系研究[D];中国林业科学研究院;2012年

5 蒲汛;群集智能及其在分布式系统中的应用研究[D];电子科技大学;2012年

6 史恒亮;云计算任务调度研究[D];南京理工大学;2012年

7 潘颖;离散制造业MES系统建模与调度研究[D];大连理工大学;2012年

8 马飞;云数据中心中虚拟机放置和实时迁移研究[D];北京交通大学;2013年

9 张小庆;基于云计算环境的资源提供优化方法研究[D];武汉理工大学;2013年

10 黄沈权;制造云服务按需供应模式、关键技术及应用研究[D];浙江大学;2013年

相关硕士学位论文 前10条

1 任萱萱;基于Hadoop平台的作业调度研究[D];天津师范大学;2011年

2 钟海;面向云计算环境的应用迁移策略及资源管理技术研究[D];云南大学;2011年

3 葛新;基于云计算集群扩展中的调度问题研究[D];中国科学技术大学;2011年

4 贾雄;数值天气预报云计算环境关键技术研究与实现[D];国防科学技术大学;2011年

5 郭怡;基于云计算平台的电信业务支撑系统中资源提供策略的研究[D];南京邮电大学;2012年

6 陈宁;基于云计算平台的电信业务支撑系统中调度算法的研究[D];南京邮电大学;2012年

7 杨培;虚拟桌面管理的研究及应用[D];南京理工大学;2012年

8 刘飞;基于云计算的分布式存储系统的研究和应用[D];西安工业大学;2012年

9 唐磊;基于云计算的网络化操作系统平台任务调度的研究[D];北京邮电大学;2012年

10 孟洋;基于云计算的人口信息系统数据资源架构及调度体系研究与设计[D];北京邮电大学;2012年

【二级参考文献】

相关期刊论文 前10条

1 吕振肃,侯志荣;自适应变异的粒子群优化算法[J];电子学报;2004年03期

2 张长胜;孙吉贵;欧阳丹彤;;一种自适应离散粒子群算法及其应用研究[J];电子学报;2009年02期

3 王文彬;孙其博;赵新超;杨放春;;基于非均衡变异离散粒子群算法的QoS全局最优Web服务选择方法[J];电子学报;2010年12期

4 华夏渝;郑骏;胡文心;;基于云计算环境的蚁群优化计算资源分配算法[J];华东师范大学学报(自然科学版);2010年01期

5 段海滨,王道波,于秀芬,朱家强;基于云模型理论的蚁群算法改进研究[J];哈尔滨工业大学学报;2005年01期

6 蒋海鸥;王希斌;;云计算中存储资源管理策略的探究[J];程序员;2010年05期

7 李秋云;朱庆保;马卫;;用于连续域寻优的分组蚁群算法[J];计算机工程与应用;2010年30期

8 郑向伟;刘弘;;多目标进化算法研究进展[J];计算机科学;2007年07期

9 郑湃;崔立真;王海洋;徐猛;;云计算环境下面向数据密集型应用的数据布局策略与方法[J];计算机学报;2010年08期

10 龙文;梁昔明;董淑华;阎纲;;动态调整惯性权重的粒子群优化算法[J];计算机应用;2009年08期

相关硕士学位论文 前1条

1 赵春燕;云环境下作业调度算法研究与实现[D];北京交通大学;2009年

【相似文献】

相关期刊论文 前10条

1 林永毅,张智江,廖黛丽,倪凌;电信传输资源及调度一体化管理的研究与实现[J];电信科学;2002年10期

2 吉军;蔚承建;陈胜峰;陈旭;;分散式多工厂资源调度中的一种理性策略[J];计算机应用;2010年11期

3 董红芸;高志栋;王登科;;基于蚁群算法的云计算资源调度研究[J];中国西部科技;2013年04期

4 储雅;马廷淮;赵立成;;云计算资源调度:策略与算法[J];计算机科学;2013年11期

5 刘亚军,王行愚;虚拟企业资源调度的灰色机会约束规划[J];计算机工程与应用;2002年15期

6 蒋伟进;王璞;;基于MAS市场机制的动态计算资源调度模型研究[J];计算机研究与发展;2007年01期

7 赵惠良;刘建平;刘向东;;城市交通非常规突发事件的应急资源调度最优路径研究[J];北京理工大学学报(社会科学版);2010年06期

8 谭志;张振江;刘云;;基于资源调度的远程在线实验室设计[J];电气电子教学学报;2011年01期

9 陆建伟;;云计算网络资源调度难点分析及解决方案[J];科技信息;2011年15期

10 傅长冬,王勇;语音资源调度系统的设计与实现[J];计算机系统应用;1997年09期

相关会议论文 前3条

1 曹东旭;刘明阳;;基于马尔科夫决策链的作战资源调度[A];2014第二届中国指挥控制大会论文集（上）[C];2014年

2 王兵;贾利民;龙慧;郭杜杜;马玉春;;新疆公路网交通事故应急救援资源调度系统设计及应用[A];第七届中国智能交通年会优秀论文集——智能交通应用[C];2012年

3 丛慧芳;王文生;谢能付;;农业信息网格环境中数据传输资源调度方法研究[A];中国农业信息科技创新与学科发展大会论文汇编[C];2007年

相关重要报纸文章 前1条

1 本报记者 吴挺;云计算的管理需求显现[N];计算机世界;2009年

相关博士学位论文 前8条

1 王力;铁路集装箱中心站关键资源调度优化理论与方法[D];北京交通大学;2014年

2 马满福;基于计算经济的网格资源管理研究[D];西北工业大学;2007年

3 冉泳屹;云环境下基于随机优化的动态资源调度研究[D];中国科学技术大学;2015年

4 徐昕;基于博弈论的云计算资源调度方法研究[D];华东理工大学;2015年

5 徐劲松;SLA约束下的云资源调度关键技术研究[D];南京邮电大学;2013年

6 张静乐;网络环境下协同服务关键技术研究[D];北京科技大学;2011年

7 田国忠;多DAG共享资源调度的若干问题研究[D];北京工业大学;2013年

8 王海威;智能电视操作系统服务性能与资源调度关键技术研究[D];中国科学技术大学;2011年

相关硕士学位论文 前10条

1 何明伦;基于数字有机体的资源调度系统[D];电子科技大学;2007年

2 王U，

本文编号：1513632