基于可重构硬件架构的MapReduce计算方法研究与实现

发布时间：2017-12-19 00:05

  本文关键词：基于可重构硬件架构的MapReduce计算方法研究与实现

  更多相关文章： 大数据 MapReduce编程模型 可重构计算

【摘要】：随着互联网的飞速发展,信息量的爆炸式增长,需要高效的科学计算,以满足快速挖掘有价值信息的需求。在传统的计算机上处理海量的数据需要很长的时间消耗和能量代价,如何快速高效利用好海量的数据成为各行各业所面临的严峻考验。高效利用海量数据挖掘出有价值的信息成为工业界发展的必然选择。由Google实验室提出的MapReduce编程模型是一种快速、简洁、高效的大数据的处理方法。其通过对大数据块进行子任务划分、任务调配、并行化处理、容错处理等进行封装,很大程度上简化了并行程序的设计,目前已在Google、 Facebook、阿里巴巴等公司的许多项目中得到应用。相比较而言,传统的计算机其有限的运算单元和存储带宽,束缚其性能和功耗无法满足日益推成出新的应用需求。可重构计算架构的处理系统兼顾了专用集成电路的高效性和通用处理器的灵活性的优势,其可高效并行处理计算密集型应用的特点,成为解决并行计算多样性需求的有效途径。本文针对高效处理海量数据的场景下,对MapReduce编程模型和可重构计算技术进行了深入的研究；提出了将MapReduce编程模型与可重构计算技术相结合的研究方案；选取了Kmeans聚类算法和FIR滤波算法两种典型的算法作为目标算法；设计了Kmeas聚类算法和FIR滤波算法的MapReduce编程,完成了这两种算法在可重构硬件架构上的映射。完成了上述算法在可重构计算平台和通用计算平台ATOM230上的性能对比实验,实验结果表明：在可重构计算平台上实现基于MapReduce模型并行化的Kmeans聚类算法和FIR滤波算法在运行时间上较ATOM230通用计算平台分别提升3.2倍和2.6倍。
【学位授予单位】：北京交通大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.13

【相似文献】

中国期刊全文数据库 前10条

1 李仁发,周祖德,陈幼平,徐成,李方敏;可重构计算的硬件结构[J];计算机研究与发展;2003年03期

2 段然,樊晓桠,高德远,沈戈;可重构计算技术及其发展趋势[J];计算机应用研究;2004年08期

3 季爱明;谢满德;;二维阵列型可重构计算的层次型参数模型[J];计算机工程;2008年18期

4 王志远;王建华;徐e，

本文编号：1306112