云计算环境下MapReduce的资源建模与性能预测

发布时间：2018-07-20 18:48

【摘要】：为了预测云计算环境下的作业资源与时间消耗,根据MapReduce的资源消耗模式,量化了MapReduce作业的资源使用,提出了一种预估Hadoop的MapReduce作业的中央处理器(CPU)利用率和运行时间的模型.使用多项式回归的方法,可以在云计算环境下,对不同配置的MapReduce作业的CPU利用率和运行时间作出预判.使用不同配置条件下CPU密集型的Hadoop基准测试验证了该模型的有效性,最后使用误差平方和、平均绝对百分误差、标准差和确定系数4种评估方法计算了模型预测的精准度.
[Abstract]:In order to predict the resource and time consumption of jobs in cloud computing environment, according to the resource consumption mode of MapReduce, this paper quantifies the resource usage of MapReduce jobs, and proposes a model for estimating CPU utilization and running time of MapReduce jobs in Hadoop. Using polynomial regression method, the CPU utilization and running time of MapReduce jobs with different configurations can be forecasted in cloud computing environment. The validity of the model is verified by using CPU-intensive Hadoop benchmark under different configuration conditions. Finally, the accuracy of the model prediction is calculated by using four evaluation methods: the sum of square error, the average absolute percent error, the standard deviation and the determinate coefficient.
【作者单位】： 北京邮电大学信息与通信工程学院;
【基金】：国家自然科学基金项目(61072061) 国家科技重大专项项目(2012ZX03002008) 高等学校学科创新引智计划项目(B08004) 中央高校基本科研业务费专项资金项目(2011RC0117)
【分类号】：TP338.6

【共引文献】

相关期刊论文 前10条

1 郎波;张博宇;;面向大数据的非结构化数据管理平台关键技术[J];信息技术与标准化;2013年10期

2 邵景峰;崔尊民;王进富;白晓波;;大数据下纺织制造执行系统的构建[J];纺织器材;2013年06期

3 张亚楠;谭跃生;;基于MapReduce的并行遮盖文本聚类算法[J];内蒙古科技大学学报;2013年03期

4 周国亮;朱永利;王桂兰;;CC-MRSJ:Hadoop平台下缓存敏感的星型联接算法[J];电信科学;2013年10期

5 王鹏;黄焱;刘峰;安俊秀;;大数据技术中计算与数据的协作机制[J];成都信息工程学院学报;2014年01期

6 杜政颉;王鹏;黄焱;郎福通;;一种基于Storm编程模型的迭代Topology方案[J];成都信息工程学院学报;2014年01期

7 范飞;黄文明;邓珍荣;;Oozie工作流在Mahout分布式数据挖掘中的应用[J];桂林电子科技大学学报;2014年01期

8 丁玉成;诸葛晴凤;沙行勉;;云计算环境下排序算法的性能分析[J];重庆大学学报;2014年04期

9 刘琼;赵荣;孙立坚;;Map/Reduce框架下的粗糙集空间数据挖掘改进算法[J];测绘科学;2014年05期

10 孟令玺;李洪亮;;基于CA-PSO算法的云计算资源调度策略[J];计算机仿真;2013年10期

相关博士学位论文 前10条

1 李健;云计算环境下最小化运营开销的调度技术研究[D];北京邮电大学;2013年

2 韩晶;大数据服务若干关键技术研究[D];北京邮电大学;2013年

3 程祥;高效可靠的虚拟网络映射技术研究[D];北京邮电大学;2013年

4 李韧;基于Hadoop的大规模语义Web本体数据查询与推理关键技术研究[D];重庆大学;2013年

5 卢风顺;面向CPU/GPU异构体系结构的并行计算关键技术研究[D];国防科学技术大学;2012年

6 孙鹏;动车组维修物联网及其关键技术研究[D];中国铁道科学研究院;2013年

7 肖奎;维基百科大数据的知识挖掘与管理方法研究[D];武汉大学;2013年

8 程兴国;仿生算法的动态反馈机制及其并行化实现方法研究[D];华南理工大学;2013年

9 马冯;数据密集型计算环境下贝叶斯网的学习、推理及应用[D];云南大学;2013年

10 韩海雯;MapReduce计算任务调度的资源配置优化研究[D];华南理工大学;2013年

相关硕士学位论文 前10条

1 杨婷;基于MapReduce的好友推荐系统的研究与实现[D];北京邮电大学;2013年

2 李延光;基于Hadoop的海量工程数据处理技术研究[D];北京交通大学;2013年

3 陈贞;HDFS环境下的访问控制技术研究[D];重庆大学;2013年

4 张丹;HDFS中文件存储优化的相关技术研究[D];南京师范大学;2013年

5 潘吴斌;基于云计算的并行K-means气象数据挖掘研究与应用[D];南京信息工程大学;2013年

6 赵洪昌;云计算下的关联分析和模糊聚类研究[D];南京信息工程大学;2013年

7 汪洋;通信网云计算平台资源调度策略与算法研究[D];南昌大学;2013年

8 吕天然;基于MapReduce的可视化工作流遥感并行处理平台及关键技术研究[D];河南大学;2013年

9 但光祥;云计算环境下混合加密算法研究与实现[D];重庆大学;2013年

10 周涛;基于Hadoop的遥感数字图像处理方法研究[D];东北师范大学;2013年

【相似文献】

相关期刊论文 前10条

1 李倩;;云计算与网格计算[J];山西电子技术;2010年05期

2 贾海燕;;云计算在互动电视上的应用[J];产业与科技论坛;2011年01期

3 郑牡丹;;云计算理论初探[J];硅谷;2011年12期

4 吴吉义;傅建庆;张明西;平玲娣;;云数据管理研究综述[J];电信科学;2010年05期

5 乔文宝;;云计算应用中的不足及改进建议[J];电脑知识与技术;2010年16期

6 袁婧;;云计算在信息技术教育教学中的应用与展望[J];教育教学论坛;2010年18期

7 祝建武;;基于云计算的存储服务器技术与趋势分析[J];软件导刊;2011年04期

8 朱超;;基于虚拟化技术构建高校分布式云计算数据中心[J];武汉工程大学学报;2011年04期

9 甘鹏飞;;云环境下的个人知识管理探讨[J];软件导刊;2011年05期

10 郭培贤;;云计算在航空气象领域的展望[J];数字技术与应用;2011年10期

相关会议论文 前10条

1 王剑锋;;“虚拟”丰“云”——虚拟化和云计算技术浅析[A];中国新闻技术工作者联合会五届一次理事会暨学术年会论文集（上篇）[C];2009年

2 涂艳丽;;云计算及在IT支撑系统中的应用[A];中国通信学会第六届学术年会论文集（上）[C];2009年

3 崔云飞;刘东;李昀;;云计算:一种新型服务计算模式[A];2008年中国高校通信类院系学术研讨会论文集（下册）[C];2009年

4 高世峰;吴迪;陈正捷;;“云计算”及其应用研究初探[A];全国第二届信号处理与应用学术会议专刊[C];2008年

5 王新燕;范金刚;;初探云计算[A];两化融合与物联网发展学术研讨会论文集[C];2010年

6 丁辉;赵炜妹;;基于云计算应用一级部署的研究[A];2011电力通信管理暨智能电网通信技术论坛论文集[C];2011年

7 曾文英;赵跃龙;尚敏;;云计算及云存储生态系统研究[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

8 孙巍;孙宝华;;企业云计算调研与应用[A];中国通信学会信息通信网络技术委员会2011年年会论文集（上册）[C];2011年

9 何川;罗新华;秦虎;高彬;;云计算在装备科研领域的应用[A];2011年全国通信安全学术会议论文集[C];2011年

10 陈红;任怡;刘晓建;;云计算平台下计费机制研究[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年

相关博士学位论文 前10条

1 陈海波;云计算平台可信性增强技术的研究[D];复旦大学;2008年

2 刘航;WMSNs在云计算中心节能减排中的关键技术研究[D];大连理工大学;2011年

3 张小庆;基于云计算环境的资源提供优化方法研究[D];武汉理工大学;2013年

4 冯振乾;云计算数据中心的网络带宽隔离技术研究[D];国防科学技术大学;2012年

5 刘晓茜;云计算数据中心结构及其调度机制研究[D];中国科学技术大学;2011年

6 孙鑫;面向云环境数据中心的高效资源调度机制研究[D];北京邮电大学;2012年

7 王智明;云数据中心资源调度机制研究[D];北京邮电大学;2012年

8 吴吉义;基于DHT的开放对等云存储服务系统研究[D];浙江大学;2011年

9 杨际祥;并行与分布式计算负载均衡问题研究[D];大连理工大学;2012年

10 李铮;多媒体云计算平台关键技术研究[D];中国科学技术大学;2011年

相关硕士学位论文 前10条

1 赵志雄;基于云计算的电信通信网络关系分析技术研究与应用[D];北京邮电大学;2012年

2 柳妃妃;云计算环境下可证明数据持有技术研究[D];上海交通大学;2011年

3 白超;基于并行计算的海量日志分析系统实现[D];安徽大学;2013年

4 裴晓强;云计算环境下的容错存储技术研究[D];国防科学技术大学;2011年

5 张晨;云计算在IDC中的应用与实现[D];北京邮电大学;2012年

6 潘钰;云计算平台中的能耗管理方法[D];南京邮电大学;2013年

7 汪楠;基于OpenStack云平台的计算资源动态调度及管理[D];大连理工大学;2013年

8 刘海平;基于主从备份的云计算容错调度算法研究[D];浙江工商大学;2010年

9 张密密;MapReduce模型在Hadoop实现中的性能分析及改进优化[D];电子科技大学;2010年

10 闫新河;云计算下自主诊断与自我修复研究[D];电子科技大学;2011年

，

本文编号：2134429