MapReduce能耗建模及优化分析

发布时间：2017-10-05 12:46

  本文关键词：MapReduce能耗建模及优化分析

  更多相关文章： 绿色计算 任务调度 能耗建模 节能分析 数据布局

【摘要】：云计算中心规模的不断扩大以及设计时对能耗因素的忽略,使其日益暴露出高能耗低效率的问题.为提高MapReduce框架能耗利用率,首先对MapReduce任务进行了能耗建模,提出基于CPU利用率估算、主要部件能耗累加及平均功耗估算的任务能耗模型,并在此基础上建立了MapReduce作业能耗模型.其次,基于能耗模型对能耗优化进行了分析,提出从优化MapReduce作业执行能耗、减少MapReduce任务等待能耗与提高MapReduce集群能源利用效率3个方向对MapReduce进行能耗优化.再次,提出异构环境下的数据放置策略减小MapReduce任务等待能耗,提出截止时间约束下的最小资源分配方法提高MapReduce作业能耗利用效率.通过大量的实验及能耗数据分析,验证了能耗模型及能耗优化方法的有效性.
【作者单位】： 新疆财经大学统计与信息学院;新疆大学软件学院;新疆大学信息科学与工程学院;新疆医科大学医学工程技术学院;
【关键词】： 绿色计算 任务调度 能耗建模 节能分析 数据布局
【基金】：国家自然科学基金项目(61562078,61262088,71261025) 新疆财经大学博士科研启动基金项目(2015BS007)~~
【分类号】：TP311.13;TP393.09
【正文快照】： 数据的产生过程在经历被动和主动2种产生过分布式计算领域得到了广泛运用,并且已逐渐成为程后,发展到了自动产生阶段,预示着大数据时代的工业与学术届事实上的海量数据并行处理标准[9].来临.数据从简单的处理对象开始转变为一种基础虽然Hadoop拥有诸多优点,但是和Google服务器

【参考文献】

中国期刊全文数据库 前8条

1 宋杰;李甜甜;朱志良;鲍玉斌;于戈;;云数据管理系统能耗基准测试与分析[J];计算机学报;2013年07期

2 廖彬;于炯;张陶;杨兴耀;;基于分布式文件系统HDFS的节能算法[J];计算机学报;2013年05期

3 廖彬;于炯;孙华;年梅;;基于存储结构重配置的分布式存储系统节能算法[J];计算机研究与发展;2013年01期

4 廖彬;于炯;钱育蓉;杨兴耀;;基于可用性度量的分布式文件系统节点失效恢复算法[J];计算机科学;2013年01期

5 孟小峰;慈祥;;大数据管理:概念、技术与挑战[J];计算机研究与发展;2013年01期

6 王意洁;孙伟东;周松;裴晓强;李小勇;;云计算环境下的分布存储关键技术[J];软件学报;2012年04期

7 林闯;田源;姚敏;;绿色网络和绿色评价:节能机制、模型和评价[J];计算机学报;2011年04期

8 王鹏;孟丹;詹剑锋;涂碧波;;数据密集型计算编程模型研究进展[J];计算机研究与发展;2010年11期

【共引文献】

中国期刊全文数据库 前10条

1 徐青山;杨立华;;大数据对中国电子政务发展的影响及应用[J];北京航空航天大学学报(社会科学版);2016年06期

2 孙晓;施雁;田梅梅;龚美芳;朱晓萍;吴茜;;基于信息化平台护理管理系统的构建及持续改进[J];护理研究;2016年28期

3 黄国豪;;浅谈大数据技术及其在土木工程中的应用[J];江西建材;2016年18期

4 徐明;臧杨柳;;认知语言学视角下的日汉句法研究再探——大数据带来的启示[J];江苏外语教学研究;2016年03期

5 刘铭;张春平;杨志;张琦;;基于对象化并行计算复杂场景的解决方案[J];信息技术;2016年09期

6 廖彬;张陶;于炯;尹路通;郭刚;国冰磊;;MapReduce能耗建模及优化分析[J];计算机研究与发展;2016年09期

7 张晓芳;黄晓涛;王芬;;大数据时代的本科数据挖掘课程建设[J];计算机时代;2016年09期

8 张琦;张春平;杨志;刘铭;;基于OPC框架的高效计算服务应用[J];计算机系统应用;2016年09期

9 谢怡文;;探讨数据挖掘技术的研究现状及发展方向[J];通讯世界;2016年17期

10 张铁山;邓新策;;基于上市大数据企业的经营绩效与研发投入关系研究[J];工业技术经济;2016年09期

【二级参考文献】

中国期刊全文数据库 前10条

1 叶可江;吴朝晖;姜晓红;何钦铭;;虚拟化云计算平台的能耗管理[J];计算机学报;2012年06期

2 张法;Antonio Fernandez Anta;王林;侯晨颖;刘志勇;;网络能耗系统模型及能效算法[J];计算机学报;2012年03期

3 李新;贾智平;鞠雷;赵衍恒;宗子良;;一种面向同构集群系统的并行任务节能调度优化方法[J];计算机学报;2012年03期

4 林子雨;赖永炫;林琛;谢怡;邹权;;云数据库研究[J];软件学报;2012年05期

5 刘晨;陆佳亮;孔令和;吴凤刚;吴强;伍民友;;基于软件的无线网绿色代理系统[J];软件学报;2012年02期

6 林闯;田源;姚敏;;绿色网络和绿色评价:节能机制、模型和评价[J];计算机学报;2011年04期

7 林闯;李寅;万剑雄;;计算机网络服务质量优化方法研究综述[J];计算机学报;2011年01期

8 王鹏;孟丹;詹剑锋;涂碧波;;数据密集型计算编程模型研究进展[J];计算机研究与发展;2010年11期

9 陈康;郑纬民;;云计算:系统实例与研究现状[J];软件学报;2009年05期

10 洪学海;詹剑锋;樊建平;张志宏;;应用驱动的高效能计算机系统的研究与发展[J];计算机研究与发展;2007年10期

【相似文献】

中国期刊全文数据库 前10条

1 宗平;严金瑶;;云计算环境中服务器能耗管理机制的应用研究[J];计算机技术与发展;2013年11期

2 袁中华;胡晖;;基于物联网的通信能耗管控系统[J];现代电信科技;2012年10期

3 陈海雄;蒋多元;;能源管理技术在勘探开发云中心的应用[J];数字技术与应用;2014年02期

4 刘伟;崔永锋;;复杂目标进化指导的高效网络能耗指导[J];科技通报;2014年04期

5 鞠宁;周建;;基于无线网络的能耗实时监测系统[J];中国水运(下半月);2014年03期

6 邓飞;;依托动力环境监控建立通信局站能耗管理体系[J];通信电源技术;2009年S1期

7 王云生;于军琪;杨柳;;大型公建能耗实时监测及节能管理系统研究[J];建筑科学;2009年08期

8 叶可江;吴朝晖;姜晓红;何钦铭;;虚拟化云计算平台的能耗管理[J];计算机学报;2012年06期

9 雷成军;罗亮;吴文峻;;基于云计算的集群能耗监控与节能方法研究[J];计算机应用与软件;2011年11期

10 杜正杰;王卫锋;李鸿斌;;基于网络技术的能耗监管系统设计[J];测控技术;2013年03期

中国重要会议论文全文数据库 前1条

1 黄韧;罗记龙;;绿色通信能耗专家系统[A];通信电源新技术论坛2011通信电源学术研讨会论文集[C];2011年

中国重要报纸全文数据库 前10条

1 记者 张陆龙;我市推行更严格能耗管理制度[N];绍兴日报;2010年

2 通讯员 聂卿;漳泽发电分公司开展能耗评估[N];中国电力报;2005年

3 本报记者 马玲 通讯员 熊杰;管控住每一个能耗点[N];中国石化报;2014年

4 郗海才;齐鲁炼厂能耗管理效果显著[N];中国石化报;2004年

5 方彤;河南油田试油部三道防线降能耗[N];中国石化报;2008年

6 本报记者 穆广田 通讯员 贺地红;打好“组合牌” 能耗降下来[N];中国石油报;2013年

7 记者 王衍国 刘新圣;齐鲁石化储运厂节能实现新突破[N];物资信息报;2005年

8 薛振河;依靠科技进步 加强能耗管理 建设节约型企业[N];中国航空报;2006年

9 记者 余万芳邋见习记者 魏金金;能耗不降,企业和政府领导一律“问责”[N];绍兴日报;2007年

10 刘楠;我国首个电厂能耗实时监控系统问世[N];中国知识产权报;2008年

中国博士学位论文全文数据库 前1条

1 郝亮;面向能耗优化的云计算资源调度算法研究[D];哈尔滨工业大学;2015年

中国硕士学位论文全文数据库 前10条

1 黄健刚;温和地区高校教学楼建筑能耗定额研究[D];昆明理工大学;2015年

2 尚振东;铣镗床能耗测试与分析研究[D];哈尔滨工业大学;2015年

3 孙红艳;基于能源统计的山东省城镇住宅建筑能耗的研究[D];重庆大学;2015年

4 胡文虹;水泥厂能耗排放无线实时监测系统设计与实现[D];大连理工大学;2015年

5 刘作鹏;建筑能耗无线监测系统的研究与设计[D];大连理工大学;2015年

6 柳红日;面向SLA和负载均衡及能耗的多目标云资源调度研究[D];哈尔滨工业大学;2015年

7 张雪莱;基站能耗典型场景划分及标杆制定[D];北京邮电大学;2015年

8 王颖;云计算平台中的能耗优化管理研究[D];南京邮电大学;2015年

9 丁洪利;面向延迟及能耗优化的云计算数据部署研究[D];合肥工业大学;2015年

10 徐兆华;基于.NET的高校能耗系统研究[D];吉林大学;2015年

，

本文编号：976902