基于MapReduce并行处理框架的大数据处理系统的研究

发布时间：2021-04-07 03:17

　　近年来,随着科技的进步与发展,数据采集终端数量的上升,人们不可避免的会在日常工作与生活当中面对数量庞大、种类繁多的数据信息。人们如何处理与利用这些海量数据也决定了人们在生产生活中的决策行为将不再是基于过去的经验与直觉,而是转变为通过对相应数据进行数据处理,从而得到在海量数据指导下的策略选择。大数据处理系统作为大数据技术中的重要研究内容,通过不同数据架构以及数据处理算法来满足不同业务类型的大数据存储以及处理要求,具有重要的研究意义。现有成果从不同方面对大数据的存储以及处理提出了不同的解决方法,但仍有不足。例如,大数据的数据量虽然巨大,但是针对某一产业或某一方面的大数据具有一定的数据特征,如今的数据处理系统并未充分利用这些特征,也无法利用大数据之间的特征关系进行数据处理,难以优化整个大数据处理系统。1.本文在对大数据处理系统的关键技术进行构想与研究的基础上,首先采用Hadoop架构来搭建系统实验平台。通过操作Map Reduce模型预留出的Map映射函数接口完成针对数据采集终端数据的粗处理过程,再根据Map函数的输出结果调用相应的Reduce函数完成大数据的规约化处理,从而挖掘出相应海量数... 

【文章来源】：吉林大学吉林省 211工程院校 985工程院校 教育部直属院校

【文章页数】：80 页

【学位级别】：硕士

【部分图文】：

MapReduce处理流程

垂直以及水平划分算法示意图

30图 3.2 垂直以及水平划分算法示意图图 3.3 社区结构划分算法示意图3.3.4 PI-MR 模型适用性分析目前针对于高维数据以及图数据的数据挖掘算法均可以归结为 GIM-V[50]运算，例如 PageRank 网络权威值算法、随机行走算法、直径预估算法等。对于给定的一个图数据结构 G(V,E)，令M 为一个 n× n的矩阵，用来表示图 G 的邻接表；令V 表示长度为 n 的向量，用来存储 n 个顶点的初始数据值。针对高位数据以及

【参考文献】：
期刊论文
[1]Hadoop平台中的MapReduce模型及优化[J]. 杨朝辉,康磊.  信息技术与信息化. 2017(12)
[2]基于云计算平台Hadoop的并行k-means聚类算法设计研究[J]. 李莉.  网络安全技术与应用. 2017(12)
[3]MapReduce并行化压缩近邻算法[J]. 翟俊海,郝璞,王婷婷,张明阳.  小型微型计算机系统. 2017(12)
[4]基于MapReduce的空间数据并行划分算法[J]. 付艳丽,吴艳民,张金标,郑坤,赵长虹,郑康,方发林.  测绘通报. 2017(11)
[5]基于云计算的海量网络流量数据分析处理研究[J]. 周莹.  电子测试. 2017(19)
[6]大数据下基于MapReduce的Dirichlet朴素贝叶斯文本分类算法[J]. 胡晓东,高嘉伟.  科技通报. 2017(09)
[7]MapReduce Based Parallel Bayesian Network for Manufacturing Quality Control[J]. Mao-Kuan Zheng,Xin-Guo Ming,Xian-Yu Zhang,Guo-Ming Li.  Chinese Journal of Mechanical Engineering. 2017(05)
[8]基于MapReduce的分布式改进随机森林学生就业数据分类模型研究[J]. 乔非,葛彦昊,孔维畅.  系统工程理论与实践. 2017(05)
[9]一种基于MapReduce的大数据集相似自连接算法[J]. 孙德才,王晓霞.  计算机科学. 2017(05)
[10]基于MapReduce模型的推测执行优化算法[J]. 黄中平,白光伟,沈航,承骁,华志翔.  计算机科学. 2017(04)



本文编号：3122691