基于嵌入式多处理器Metis框架的研究

发布时间：2017-05-20 05:15

  本文关键词：基于嵌入式多处理器Metis框架的研究，由笔耕文化传播整理发布。

【摘要】：嵌入式平台上的并行计算已经越来越热门了,单核处理器再也不能满足应用上的需求。多核处理器的广泛应用促进了嵌入式并行计算的发展,涌现出许多并行开发的技术如MPI、OpenMP等核间通信技术。基于MapReduce编程模型的并行计算软件框架在计算机领域里百花齐放,如Spark、Hadoop、Metis和Phoenix等。Spark和Hadoop一般都是用于PC机集群,并没有用于嵌入式平台上的集群。Metis是在Phoenix基础上改进的基于MapReduce编程框架,这两个框架比前两个框架在资源上的消耗更小,所以适合用于嵌入式平台上的并行计算。Metis和Phoenix都是基于共享内存的编程模型,所以它们只支持节点内部的核间通信。本文对基于MapReduce编程模型Metis框架进行了研究,为了使Metis并行计算框架能够在嵌入式平台上实现节点的集群,设计了以Metis为核心执行MapReduce任务,MPI进行节点之间的通信,即MPI+Metis并行计算框架。通过Metis标准测试集评估测试MPI+Metis和MPI+Phoenix框架性能的差异。论文的最后,通过搜集嵌入式集群节点的CPU和内存的使用率评估节点的负载状况。最后,通过WordCount、LinearRegression分别测试MPI+Metis框架和MPI+Phoenix框架,表明Metis框架在数据处理过程比Phoenix更加有效。并通过测试多个嵌入式节点的集群上的CPU使用率和内存使用率,表明数据量越大的应用,CPU使用率和内存使用率处于高峰的时间越长,但通过多个节点的集群可以降低系统负载。
【关键词】：嵌入式 MapReduce MPI+Metis
【学位授予单位】：西安电子科技大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP332
【目录】：

• 摘要5-6
• ABSTRACT6-10
• 符号对照表10-11
• 缩略语对照表11-14
• 第一章 绪论14-18
• 1.1 嵌入式云计算的发展趋势14-15
• 1.2 多核开发所带来的问题15-16
• 1.3 本文主要研究内容和创新点16-17
• 1.4 论文的组织结构17
• 1.5 本章小结17-18
• 第二章 嵌入式多核平台并行开发技术18-28
• 2.1 引言18
• 2.2 MPI消息传递接18-22
• 2.2.1 基于MPI的编程方式18-20
• 2.2.2 MPI的几个重要特点20-22
• 2.3 OpenMP技术介绍22-24
• 2.3.1 OpenMP的并行编程模型22-24
• 2.3.2 OpenMP的优点和缺点24
• 2.4 多核编程存在的主要问题24-26
• 2.4.1 负载平衡24-25
• 2.4.2 串行化问题25-26
• 2.5 本章小结26-28
• 第三章 基于MapReduce模型Metis框架的研究28-46
• 3.1 基于共享内存的MapReduce模型框架28-30
• 3.1.1 基于MapReduce编程模型28-30
• 3.2 Metis模型架构分析30-43
• 3.2.1 Metis的数据处理流程30-36
• 3.2.2 Metis的存储结构分析36-42
• 3.2.3 Metis key-value预测方法42-43
• 3.3 Metis和Phoenix的比较43-45
• 3.3.1 Key-Value存储结构的比较43-44
• 3.3.2 数据处理的比较44-45
• 3.4 本章小结45-46
• 第四章 基于MPI+Metis框架的设计与实现46-78
• 4.1 引言46-47
• 4.2 MPI+Metis架构分析47-68
• 4.2.1 Metis+MPI集群节点47-49
• 4.2.2 Master节点设计49-57
• 4.2.3 Worker节点设计57-60
• 4.2.4 Worker节点的数据处理流程60-68
• 4.3 基于MPI+Metis框架的性能测试与分析68-77
• 4.3.1 性能测试方法69
• 4.3.2 MPI+Metis框架的测试与分析69-73
• 4.3.3 MPI+Metis和MPI+Phoenix性能测试与分析73-77
• 4.4 本章小结77-78
• 第五章 基于Metis架构的嵌入式系统集群的性能评估78-90
• 5.1 嵌入式多处理器性能监控78-79
• 5.2 Slurm资源管理和作业调度79-82
• 5.3 系统性能参数82-86
• 5.3.1 性能测试方法83-86
• 5.4 嵌入式节点集群监控测试分析86-88
• 5.4.1 测试结果及分析86-88
• 5.5 本章小结88-90
• 第六章 总结与展望90-94
• 6.1 工作总结90-91
• 6.2 工作展望91-94
• 参考文献94-98
• 致谢98-100
• 作者简介100-101

【相似文献】

中国重要报纸全文数据库 前1条

1 本报记者 史蕾;欧盟METIS项目完成5G初定义[N];通信产业报;2013年

中国硕士学位论文全文数据库 前1条

1 郑少雄;基于嵌入式多处理器Metis框架的研究[D];西安电子科技大学;2014年

  本文关键词：基于嵌入式多处理器Metis框架的研究，由笔耕文化传播整理发布。

，

本文编号：380753