面向云计算的MapReduce并行编程模式的研究与应用

发布时间：2021-12-02 15:24

　　高性能计算机的发展促使了高效能程序设计环境的产生与发展,尤其是并行编程模式的发展。一方面,由于并行机体系结构的多样性给并行程序的开发带来了很多困难,因此怎样简化并行编程提高开发效率成为了一个关键问题。另一方面,面向云环境,如何提高并行计算的能力以实现在海量数据中获取有价值的信息也成为了互联网中极需解决的问题。针对上述两个问题,Google公司研发了一种新的并行编程模型MapReduce,它在高抽象层次上以易使用和易理解的方式来简单高效地解决并行计算问题。论文在研究并行编程模型及其具体的并行程序开发模式的基础上,紧紧围绕云计算及其关键技术MapReduce并行编程模式展开研究,通过对MapReduce的实现框架、执行过程及其实现平台进行分析与应用,取得了以下研究成果：1、针对MapReduce缺乏一个快速高效的标准或规则来调整和优化其作业执行性能的问题,本文提出了提高MapReduce性能的几种技巧,先描述问题出现的状况,再提出具体的解决方法,最后在集群上进行测试实验,且给出了使用技巧前后的对比性测试数据,可给MapReduce作业的开发者提供帮助。2、通过对MapReduce模型执行过... 

【文章来源】：湖南大学湖南省 211工程院校 985工程院校 教育部直属院校

【文章页数】：61 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
插图索引
附表索引
第1章 绪论
    1.1 研究目的及意义
    1.2 研究内容
    1.3 本文工作
    1.4 本文组织结构
第2章 重要知识及相关研究
    2.1 并行编程模型研究
        2.1.1 并行编程模型概述
        2.1.2 并行编程模型的现状及发展趋势
    2.2 并行程序开发模式
        2.2.1 基于共享存储的并行编程——OpenMP
        2.2.2 基于消息传递的并行编程
        2.2.3 OpenMP+MPI混合编程
        2.2.4 基于数据并行的并行编程——HPF
        2.2.5 并行库
        2.2.6 串行程序并行化
    2.3 云计算及其并行编程模型研究
        2.3.1 云计算概述
        2.3.2 云计算中并行编程模型的现状及发展趋势
    2.4 小结
第3章 MapReduce并行编程模型
    3.1 MapReduce模型产生的背景
    3.2 MapReduce模型的原理
    3.3 Google的MapReduce实现框架
    3.4 MapReduce中的shuffle分析
    3.5 MapReduce模型的实现
        3.5.1 Hadoop
        3.5.2 Phoenix
        3.5.3 Mars
        3.5.4 HPMR
    3.6 提高MapReduce性能的几种技巧
        3.6.1 设置合适的map和reduce任务数量值
        3.6.2 选用最合适的Writable
        3.6.3 使用LZO压缩
        3.6.4 添加Combiner
    3.7 小结
第4章 基于MapReduce的单源最短路径算法的研究与实现
    4.1 单源最短路径算法
        4.1.1 单源最短路径概述
        4.1.2 传统的解决方法
    4.2 相关定义描述
    4.3 关键问题的解决方法
    4.4 基于MapReduce的单源最短路径算法的设计与实现
        4.4.1 总体设计框架
        4.4.2 Map过程
        4.4.3 Reduce过程
        4.4.4 MapReduce的迭代过程
    4.5 小结
第5章 基于MapReduce的单源最短路径算法的性能测试
    5.1 并行算法的性能评估
        5.1.1 加速比
        5.1.2 效率
        5.1.3 可扩放性
    5.2 实验环境
    5.3 实验结果及其分析
        5.3.1 加速比性能测试
        5.3.2 效率性能评测
        5.3.3 可扩放性性能评测
    5.4 小结
第6章 结论
    6.1 本文总结
    6.2 未来工作及其展望
参考文献
致谢
附录A 攻读硕士期间发表的论文
附录B (攻读硕士期间参与的项目列表)


【参考文献】：
期刊论文
[1]数据密集型计算编程模型研究进展[J]. 王鹏,孟丹,詹剑锋,涂碧波.  计算机研究与发展. 2010(11)
[2]云计算研究综述及未来发展[J]. 董晓霞,吕廷杰.  北京邮电大学学报(社会科学版). 2010(05)
[3]云计算发展的国内外对比分析[J]. 孙明俊.  电信网技术. 2010(09)
[4]云计算体系结构及应用实例分析[J]. 匡胜徽,李勃.  计算机与数字工程. 2010(03)
[5]云计算下的海量数据挖掘研究[J]. 王鄂,李铭.  现代计算机(专业版). 2009(11)
[6]云计算:系统实例与研究现状[J]. 陈康,郑纬民.  软件学报. 2009(05)
[7]基于Hadoop的海量共现矩阵生成方法[J]. 杨代庆,张智雄.  现代图书情报技术. 2009(04)
[8]并行计算的一体化研究现状与发展趋势[J]. 陈国良,孙广中,徐云,龙柏.  科学通报. 2009(08)
[9]一种改进的MapReduce并行编程模型[J]. 周锋,李旭伟.  科协论坛(下半月). 2009(02)
[10]浅析云计算与信息安全[J]. 谢四江,冯雁.  北京电子科技学院学报. 2008(04)

硕士论文
[1]基于MapReduce模型的并行计算平台的设计与实现[D]. 万至臻.浙江大学 2008



本文编号：3528711