基于垃圾回收的MapReduce作业内存调优

发布时间：2018-11-08 17:28

【摘要】：针对合理管理MapReduce作业内存资源困难的问题,提出评估方法并给出优化配置建议。首先分析Java虚拟机的内存分配与垃圾回收的原理,给出垃圾回收重要指标;其次提出内存分配合理性评估的3种指标和评估方法;最后根据评估结果给出2种优化配置建议:一是通过使用聚类算法和统计信息来估计晋升对象大小阈值,优化Java虚拟机的对象分配和垃圾回收性能;二是使用回归模型和搜索算法来预测作业合理的内存配置。实验结果表明,提出的方法能自动发现作业内存配置的不足并给出优化的配置建议。与采用机器学习方法相比,提出的方法不需要运行大量的测试,因此该方法能很好适用于MapReduce的生产集群环境。
[Abstract]:Aiming at the difficulty of reasonably managing the memory resources of MapReduce jobs, this paper puts forward an evaluation method and gives some suggestions for optimizing configuration. Firstly, the principle of memory allocation and garbage collection of Java virtual machine is analyzed, and the important indexes of garbage collection are given. Finally, two kinds of optimal configuration suggestions are given according to the evaluation results: first, the threshold of promotion object size is estimated by using clustering algorithm and statistical information, and the object allocation and garbage collection performance of Java virtual machine are optimized; Second, the regression model and search algorithm are used to predict the reasonable memory allocation of the job. The experimental results show that the proposed method can automatically detect the shortcomings of job memory configuration and give the optimized configuration suggestions. Compared with the machine learning method, the proposed method does not need to run a lot of tests, so this method can be applied to the production cluster environment of MapReduce.
【作者单位】： 四川大学计算机学院网络与可信计算研究所;
【基金】：国家科技支撑计划资助项目(2012BAH18B05)
【分类号】：TP333.1

【参考文献】

相关期刊论文 前1条

1 周世龙;陈兴蜀;罗永刚;;基于灰盒模型的Hadoop MapReduce job参数性能分析与预测[J];四川大学学报(工程科学版);2014年S1期

【相似文献】

相关期刊论文 前10条

1 ;天津:将建电子垃圾回收中心[J];中国信息界;2005年16期

2 马安岭;陈德平;;浅谈垃圾回收机制[J];仪器仪表用户;2006年06期

3 孙青;郑永果;;MS.NET FRAMEWORK垃圾回收算法的实现研究[J];福建电脑;2006年08期

4 冉彦中;张智刚;曹婧华;杨可扬;;C#垃圾回收机制验证实验的设计与实现[J];长春师范学院学报;2013年10期

5 黄昆;;电子垃圾回收产业化之路[J];中国计算机用户;2008年23期

6 畅鹏;;分布式垃圾回收算法分析[J];太原大学学报;2010年04期

7 刘云生;吕志华;;嵌入式实时垃圾回收机制的分析与实现[J];计算机工程与科学;2006年08期

8 张鹏飞;钱敏;;Java垃圾回收新算法刍探[J];微型机与应用;2011年02期

9 阿涛;电子垃圾回收期待产业化[J];数码世界;2003年03期

10 武新丽;;浅谈.NET Framework中的垃圾回收机制[J];廊坊师范学院学报(自然科学版);2012年05期

相关会议论文 前4条

1 袁伟东;杨谦;;运用生活垃圾回收生物技术改造西部土壤[A];民革全国西部大开发研讨会论文集[C];2000年

2 柯建飞;;电子垃圾回收立法动向探微[A];水污染防治立法和循环经济立法研究——2005年全国环境资源法学研讨会论文集（第二册）[C];2005年

3 张姝妍;;关于电子垃圾回收处理对策的研究[A];中国环境保护优秀论文集（2005）（下册）[C];2005年

4 郑良楷;霍霞;李燕;韩岱;顾成武;陈刚建;刘俊晓;陈松建;;电子垃圾回收拆解区儿童血铅镉水平及ALAD基因多态性研究[A];2007年中国解剖学会第十届全国组织学与胚胎学青年学术研讨会论文摘要汇编[C];2007年

相关重要报纸文章 前10条

1 刘友存;气动垃圾回收系统成为韩国新的钢管消费领域[N];中国冶金报;2007年

2 记者　 项文渊 卢庆红;石笕乡建起垃圾回收站[N];丽水日报;2006年

3 国富;珠海垃圾回收业如何发展？[N];珠海特区报;2007年

4 记者 李学梅;生活垃圾回收,为法国带来丰厚回报[N];新华每日电讯;2009年

5 李松梧　中国城市建设研究院总工程师 徐海云;垃圾回收合作社能建否？[N];中国环境报;2009年

6 记者杜磊;州直各县积极筹建医疗垃圾回收站[N];伊犁日报(汉);2009年

7 郑丽华;我市有了电子垃圾回收机构[N];太原日报;2010年

8 本报记者 魏星奎;农村可利用垃圾回收处理[N];绵阳日报;2011年

9 周海龙;加强电子垃圾回收处理[N];团结报;2013年

10 记者 王晔君;电子垃圾回收首度“触网”[N];北京商报;2013年

相关硕士学位论文 前10条

1 毛浪;城市生活垃圾回收网络优化研究[D];湖南大学;2011年

2 刘丽丽;城市生活垃圾回收利用系统设计[D];中南大学;2013年

3 许静;我国电子垃圾回收处理法律制度研究[D];长安大学;2010年

4 杜武;庐山旅游垃圾回收设施设计研究[D];南昌大学;2013年

5 刘莉;基于多层次建模和GIS的垃圾回收行为模型研究[D];重庆大学;2003年

6 甘赛雄;城市垃圾回收方式及工具创新设计[D];南昌大学;2012年

7 王豫炜;城市垃圾回收嵌入式车载系统设计[D];北京化工大学;2013年

8 杨歆;农村家庭生活垃圾回收政策效果的实证分析[D];西北大学;2013年

9 徐键;城市垃圾回收设施设计研究[D];江南大学;2007年

10 梁宏鑫;电能受限的手持设备中KVM的移植与性能调优[D];上海交通大学;2007年

，

本文编号：2319185