一种Mapreduce作业内存精确预测方法

发布时间：2017-12-17 17:21

  本文关键词：一种Mapreduce作业内存精确预测方法

  更多相关文章： 垃圾回收 Java虚拟机 mapreduce 资源管理

【摘要】：针对准确预测mapreduce作业内存资源需求困难的问题,根据Java虚拟机(JVM)的分代(JVM将堆内存划分为年轻代和年长代)内存管理特点,该文提出一种分代内存预测方法。建立年轻代大小与垃圾回收时间的模型,将寻找合理年轻代大小的问题转换为一个受约束的非线性优化问题,并设计搜索算法求解该优化问题。建立mapreduce作业的map任务和reduce任务性能与内存的关系模型,求解最佳性能的内存需求,从而获得map任务和reduce任务的年长代内存大小。实验结果表明,本文提出的方法能准确预测作业的内存需求;与默认配置相比,能提供平均6倍的性能提升。
【作者单位】： 四川大学网络空间安全研究院;
【基金】：国家科技支撑计划(2012BAH18B05)
【分类号】：TP302
【正文快照】： Apache Hadoop[1](包含HDFS和mapreduce两个核心组件,本文只考虑mapreduce,因此在没有特殊说明情况下Hadoop和mapreduce等价使用)是谷歌公司提出的mapreduce编程模式的开源版本,得到了学术界、工业界的大力支持。随着mapreduce应用规模不断扩大,为Hadoop集群分配合理的资源以

【相似文献】

中国期刊全文数据库 前10条

1 罗松林;内存常见故障及排除[J];电脑知识与技术;2001年21期

2 罗松林;内存小小,问题多多——内存常见故障及排除[J];电子计算机与外部设备;2001年07期

3 郑秋生;扩展内存规范及扩展内存的使用[J];郑州纺织工学院学报;1994年02期

4 王涌;如何完成内存的扩展[J];电子与电脑;1995年09期

5 夏玉红;;谈谈计算机的内存管理[J];泸天化科技;1998年01期

6 李登峰;;扩展内存与扩充内存的区别[J];家电检修技术;1999年07期

7 叶永茂;内存常见问题对策[J];电子科技;2000年02期

8 bob;常见内存故障的排除[J];电脑技术;2001年01期

9 黄晰;扩展内存的使用与系统优化[J];天津通信技术;1994年01期

10 刘江国;扩充扩展内存和上部内存的管理原理与使用方法[J];计算机应用;1995年05期

中国重要会议论文全文数据库 前3条

1 丁锐;张亚君;陈维;;基于多级缓存的内存管理方案[A];浙江省电子学会2011学术年会论文集[C];2011年

2 吕方;胡士文;连瑞琦;;面向链表式内存管理的编译优化方法[A];第十五届计算机工程与工艺年会暨第一届微处理器技术论坛论文集（A辑）[C];2011年

3 于超;蒋破荒;;SAP ERP内存管理研究[A];电力行业信息化优秀论文集2013[C];2013年

中国重要报纸全文数据库 前10条

1 Lansy工作室;你还要加条新内存吗[N];中国电脑教育报;2002年

2 ;内存，，我该用多大？[N];电脑报;2003年

3 李冰;快马加鞭[N];中国电脑教育报;2003年

4 广西 沉睡者;当容量与性能不可兼得[N];电脑报;2003年

5 李军;启动从这里开始[N];中国电脑教育报;2002年

6 王志军;在Windows 2003中安全释放内存[N];中国电脑教育报;2004年

7 ;释放Win2003内存[N];中国计算机报;2005年

8 杨志勇;用WinRAM-Booster优化“消化不良”的内存[N];中国电脑教育报;2002年

9 鹏鹏;不要忽视内存碎片[N];中国计算机报;2003年

10 伍班权;内存容量与性能谁重要[N];中国计算机报;2003年

中国硕士学位论文全文数据库 前6条

1 李明星;基于内存反射技术的实时网络接口卡研制[D];哈尔滨工业大学;2010年

2 吴俊杰;基于OSP平台的内存管理研究及实现[D];武汉理工大学;2013年

3 姜力波;Linux内存管理分析与研究[D];电子科技大学;2011年

4 刘诗源;多核操作系统中基于页着色的内存管理技术的研究[D];东北大学;2011年

5 张居瀚;基于NoC架构的分布式共享内存管理系统的实现和验证[D];复旦大学;2014年

6 刘玮;多核操作系统中共享内存管理技术的研究[D];东北大学;2010年

本文编号：1300952