基于GPU运算的MARS框架的分析与研究

发布时间：2017-03-24 22:14

  本文关键词：基于GPU运算的MARS框架的分析与研究，由笔耕文化传播整理发布。

【摘要】：随着互联网的飞速发展,网络资源包含了越来越多各种类型的数据与信息,人们对大数据处理的需求也越来越迫切。服务器CPU性能与IO吞吐量对处理大数据来说都至关重要,但就传统的技术架构与单台计算机串行处理模式来说,其存储空间、容错性、数据访问速度与处理速度都远远达不到人们对大数据的处理要求。并行和分布式计算是解决大规模数据处理的有效手段。现存的几种基于Mapreduce的并行处理框架如Hadoop、Spark、Disco等都是利用CPU对数据进行并行处理,但是由于CPU内核数量和内存容量的制约,想利用核数有限的CPU对巨大的数据进行并行计算,其性能必定受到限制,但是若将并行计算的部分移植到可以分配大量线程的GPU上进行则可以进一步提高并行度和数据处理效率,加快数据处理速度。MARS框架是一种基于GPU的Map/Reduce框架。在Mars框架中,将数据以key/value对的形式输入到主存储器中,对数据开始进行处理时,为Map任务和Reduce任务初始化大量的GPU线程,为每个线程分配少量且尽量等量的key/value对进行处理,使得GPU的每个线程能够负载均衡,使对大量数据的处理性能达到最优化,以此提升对大数据的处理效率。本文通过以Mars框架为研究对象,以Mars框架实现数据处理功能为重点研究内容,分析Mars框架的设计理念与实现方法,并详细解析MARS所实现的七项数据处理功能,实现应用案例的运行。具体研究工作如下:1.总结和分析现有的几种大数据处理框架包括Hadoop、Spark、Disco数据处理框架,并比较几种框架的优缺点;2.对MARS框架所涉及到的一些架构与平台的详细介绍,包括GPU、CUDA、MapReduce等;3.分析MARS框架的设计与实现,包括MARS框架的设计目标、工作流程、参数配置、接口设计、关键技术等;4.详细解析MARS所实现的七项数据处理实例,包括词频统计、字符串匹配、网页访问量排序、网页访问量计数、矩阵乘法、倒排索引、相似性评估7项应用,还原实验配置过程,实现应用实例在Linux系统下的运行,演示实验结果。
【关键词】：大数据 并行处理 Map/Reduce GPU运算
【学位授予单位】：河南大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP332
【目录】：

• 摘要4-6
• ABSTRACT6-10
• 1 绪论10-18
• 1.1 研究背景及研究意义10-11
• 1.2 所做工作及创新点11-12
• 1.3 国内外研究现状12-17
• 1.3.1 Hadoop数据处理框架12-13
• 1.3.2 Spark数据处理框架13-14
• 1.3.3 Disco数据处理框架14-15
• 1.3.4 MARS数据处理框架15
• 1.3.5 四种框架的优缺点对比分析15-17
• 1.4 本文章节安排17
• 1.5 本章小结17-18
• 2 背景技术18-26
• 2.1 GPU18-21
• 2.1.1 GPU简介18
• 2.1.2 GPU核心架构18-20
• 2.1.3 GPU线程20-21
• 2.2 CUDA21-23
• 2.2.1 CUDA简介21
• 2.2.2 CUDA执行模型21-22
• 2.2.3 CUDA C语言22-23
• 2.3 MAPREDUCE23-25
• 2.3.1 MAPREDUCE简介23
• 2.3.2 MAPREDUCE工作流程23-24
• 2.3.3 MAPREDUCE Shuffle处理24-25
• 2.4 本章小结25-26
• 3 MARS整体框架介绍26-34
• 3.1 MARS框架简介26
• 3.2 MARS框架实现目标26-27
• 3.3 MARS框架工作流程27-28
• 3.4 MARS框架参数配置28
• 3.5 MARS框架内存分配28-29
• 3.6 MARS框架接口设计29-31
• 3.7 MARS框架关键技术31-32
• 3.7.1 线程并行化31
• 3.7.2 合并访问31
• 3.7.3 使用内置向量进行访问31-32
• 3.7.4 处理大小可变的数据32
• 3.7.5 排序32
• 3.7.6 文件处理32
• 3.8 本章小结32-34
• 4 MARS框架的实现34-44
• 4.1 整体框架结构34-35
• 4.2 MARS框架功能模块35-42
• 4.2.1 预处理模块35-37
• 4.2.2 排序模块37-39
• 4.2.3 GPU运算模块39-41
• 4.2.4 自定义模块41-42
• 4.3 MARS框架数据流图42-43
• 4.4 MARS框架总体流程图43-44
• 5 MARS框架应用及结果展示44-50
• 5.1 MARS框架应用案例44-45
• 5.2 实验部署及结果展示45-50
• 5.2.1 实验部署45-46
• 5.2.2 实验结果展示46-50
• 6 总结与展望50-52
• 参考文献52-54
• 致谢54-56
• 攻读学位期间参与的科研项目56-57

【相似文献】

中国期刊全文数据库 前10条

1 袁琰,田怀凤,杜波,陆汝占;基于框架的对话管理模型的研究与实现[J];计算机工程;2005年13期

2 王春林;耿祥义;;浅析Struts2框架[J];现代经济信息;2009年04期

3 杜远坤;张跃虎;;基于J2EE框架的高校课程设置系统[J];福建电脑;2011年05期

4 林守勋,郭玉钗,林宗楷;分布式集成化CAD系统框架[J];计算机辅助设计与图形学学报;1998年06期

5 刘和洋;王健华;黄永红;丁春玲;;基于Web的政务系统通用框架的研究与实现[J];计算机工程;2006年14期

6 卢捍华;王亚石;闵丽娟;黄震奇;;基于NGOSS的OSS/BSS框架[J];电信科学;2009年10期

7 刘晓峰;;Struts1框架与Struts2框架的对比分析[J];电大理工;2010年02期

8 刘开茗;陈利国;;一种基于GWT的Web应用开发框架原理与实现[J];科技致富向导;2011年33期

9 陈鑫;陈晓辉;;基于Spring框架与Hibernate,Struts的整合研究[J];广西轻工业;2008年03期

10 赵耀培;;一种基于GWT的Web应用开发框架原理与实现[J];信息技术与信息化;2012年03期

中国重要会议论文全文数据库 前3条

1 王红雁;岳建伟;李连东;孙新生;魏锟;;框架基础形式的选取[A];河南省土木建筑学会2010年学术大会论文集[C];2010年

2 蔡辉;高嵩;沃伟峰;刘高平;;基于MICAPS3框架的SWAN客户端平台设计与开发[A];第27届中国气象学会年会雷达技术开发与应用分会场论文集[C];2010年

3 蒋帆;周凤星;;基于JSF框架的备件流程管理系统开发[A];全国冶金自动化信息网2009年会论文集[C];2009年

中国重要报纸全文数据库 前1条

1 清华大学 谢晓芹 柳西玲;让设计与分析重用[N];计算机世界;2002年

中国博士学位论文全文数据库 前1条

1 由丽萍;构建现代汉语框架语义知识库技术研究[D];上海师范大学;2006年

中国硕士学位论文全文数据库 前10条

1 林玉珍;有限维Hilbert空间中紧框架的构造[D];福州大学;2014年

2 吕新宇;基于GPU运算的MARS框架的分析与研究[D];河南大学;2016年

3 杨新勤;紧框架的构造及其在编码中的应用[D];湘潭大学;2011年

4 余启超;塑料厂高压循环气框架减振技术研究[D];华南理工大学;2011年

5 杜小刚;J2EE Web应用开发框架的设计与实现[D];国防科学技术大学;2006年

6 查伟忠;中小型办公自动化系统框架的设计和实现[D];苏州大学;2005年

7 李强;一种可伸缩Web框架的研究与实现[D];电子科技大学;2008年

8 蔡晖;类土质边坡锚索框架（地梁）内力计算模式研究[D];同济大学;2006年

9 许文君;小额支付平台新框架的设计与实现[D];北京邮电大学;2008年

10 康贤昆;PHP开发框架的研究与实现[D];天津大学;2007年

  本文关键词：基于GPU运算的MARS框架的分析与研究，，由笔耕文化传播整理发布。

本文编号：266263