基于Hadoop的石油大数据平台设计与实现
发布时间：2021-09-22 02:07
某省关于石油的各类采集设备数量繁多,且格式各异。现今为了将某省各石油站点的采集数据统一存储起来,需要一个大数据存储中心。大数据存储中心必须在容量上满足存储要求,可以存储目前以及未来的石油数据。在数据输入方面,存储中心要能满足全省数据输入流量的要求。同时要具备有高效的海量数据查找功能。此外,要具备有相应的系统监控功能,能够监控系统的实时IO,实时网络负载,实时资源使用率等等,为管理人员提供便捷的监控功能;在安全方面,也要有相应的措施防止数据泄露;在系统管理上,要有配套的管理功能如节点新增、存储扩容、节点迁移等。为了解决以上问题,本文基于Hadoop分布式平台搭建了一个石油大数据平台,用来存储、管理、查询石油大数据。在解决海量数据的存储问题上面使用基于HDFS的分布式存储系统,具备有多副本和动态扩容的能力;在数据输入方面,使用基于Kafka的分布式消息队列保证数据的安全性和高效性;在数据查询方面,通过应用Hbase数据库,达到对海量数据的高效查询;在监控功能、管理功能和安全功能使用基于CM的管理平台对大数据存储中心进行统一管理。最终对实现的石油大数据平台进行测试。系统可以到达每秒4万条数据...
【文章来源】：华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校
【文章页数】：68 页
【学位级别】：硕士
【部分图文】：
YARN的架构图
华 中 科 技 大 学 硕 士 学 位 论 文5. 选择我们需要为群集所安装的服务：包括 HDFS、HBase、hive 等等6. 角色分配：不同服务器在不同组件中扮演的角色不同，根据需要分配角色7. 设置数据库8. 设置群集这样 CM 数据库中自带的所有我们需要使用的组件全都在服务器上安装成功了，其中 Kafka 需要通过离线安装的方式加入到整个群集中。对四台服务器也根据其在Kafka 中扮演的角色来配置环境。所有服务安装成功之后，CM 的界面如图 3-1 所示。
stcode 站点编码 reporttime 发送时间uid 设备 id temp 温度protocol 协议编号 stdflux 标况瞬时datetime 采集时间 stdvolume 标况累计press 压力 state 状况actflux 工况瞬时 alarm 警告actvolume 工况累计 mark 标记rx rx 报文 tx tx 报文其中发送时间和采集时间只使用其中一个作为数据标准获取时间，最终选择datatime 作为实际时间，另外一个则弃掉。3.3.2 HBase 数据表设计需求方对于数据存储的需求总共有以下几点：1. 实时采集数据种类分为：流量计数据和传感器数据。不同种类的设备采集数据分表存储；2. 需要额外的一种分钟表来对实时表中的数据进行统计计算后再次存储；3. 需要一张表用来存储所有已录入数据的站点相关数据。
【参考文献】：
期刊论文
[1]基于Spark Streaming的电力流式大数据分析架构及应用[J]. 田璐,齐林海,李青,王红,田世明,卜凡鹏. 电力信息与通信技术. 2019(02)
[2]基于HBase的海量冠字号码多维索引研究[J]. 张艺,张重阳. 计算机与数字工程. 2019(01)
[3]基于Hadoop平台的轨道交通能效管理系统的建设方案[J]. 陈莉莉,张赛桥,狄颖琪. 自动化仪表. 2019(01)
[4]基于行键的HBase大数据文件存储转换与快速检索研究[J]. 圣文顺,徐爱萍. 计算机应用研究. 2019(12)
[5]基于Hadoop的海量气象水文数据并发处理模型[J]. 李辉,王建文,叶明雯. 计算机应用. 2018(S2)
[6]基于Hadoop分布式交通大数据存储分析平台设计[J]. 陈中,范开勇,饶宏博. 电脑编程技巧与维护. 2018(12)
[7]基于Hadoop的高校教育私有云平台的构建与应用研究[J]. 戈振兴,边静. 信息通信. 2018(12)
[8]基于Hadoop的气象大数据分析GIS平台设计与试验[J]. 李涛,冯仲科,孙素芬,程文生. 农业机械学报. 2019(01)
[9]一种基于Yarn云计算平台与NMF的大数据聚类算法[J]. 冯新扬,沈建京. 信息网络安全. 2018(08)
[10]Hadoop Hive实现日志数据统计[J]. 张野. 电脑编程技巧与维护. 2018(04)
硕士论文
[1]基于Hadoop平台的地理空间数据管理系统[D]. 张洋.西安电子科技大学 2018
[2]基于Kafka的大规模流数据分布式缓存与分析平台[D]. 牛牧.吉林大学 2016
本文编号：3402922
【文章来源】：华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校
【文章页数】：68 页
【学位级别】：硕士
【部分图文】：
YARN的架构图
华 中 科 技 大 学 硕 士 学 位 论 文5. 选择我们需要为群集所安装的服务：包括 HDFS、HBase、hive 等等6. 角色分配：不同服务器在不同组件中扮演的角色不同，根据需要分配角色7. 设置数据库8. 设置群集这样 CM 数据库中自带的所有我们需要使用的组件全都在服务器上安装成功了，其中 Kafka 需要通过离线安装的方式加入到整个群集中。对四台服务器也根据其在Kafka 中扮演的角色来配置环境。所有服务安装成功之后，CM 的界面如图 3-1 所示。
stcode 站点编码 reporttime 发送时间uid 设备 id temp 温度protocol 协议编号 stdflux 标况瞬时datetime 采集时间 stdvolume 标况累计press 压力 state 状况actflux 工况瞬时 alarm 警告actvolume 工况累计 mark 标记rx rx 报文 tx tx 报文其中发送时间和采集时间只使用其中一个作为数据标准获取时间，最终选择datatime 作为实际时间，另外一个则弃掉。3.3.2 HBase 数据表设计需求方对于数据存储的需求总共有以下几点：1. 实时采集数据种类分为：流量计数据和传感器数据。不同种类的设备采集数据分表存储；2. 需要额外的一种分钟表来对实时表中的数据进行统计计算后再次存储；3. 需要一张表用来存储所有已录入数据的站点相关数据。
【参考文献】：
期刊论文
[1]基于Spark Streaming的电力流式大数据分析架构及应用[J]. 田璐,齐林海,李青,王红,田世明,卜凡鹏. 电力信息与通信技术. 2019(02)
[2]基于HBase的海量冠字号码多维索引研究[J]. 张艺,张重阳. 计算机与数字工程. 2019(01)
[3]基于Hadoop平台的轨道交通能效管理系统的建设方案[J]. 陈莉莉,张赛桥,狄颖琪. 自动化仪表. 2019(01)
[4]基于行键的HBase大数据文件存储转换与快速检索研究[J]. 圣文顺,徐爱萍. 计算机应用研究. 2019(12)
[5]基于Hadoop的海量气象水文数据并发处理模型[J]. 李辉,王建文,叶明雯. 计算机应用. 2018(S2)
[6]基于Hadoop分布式交通大数据存储分析平台设计[J]. 陈中,范开勇,饶宏博. 电脑编程技巧与维护. 2018(12)
[7]基于Hadoop的高校教育私有云平台的构建与应用研究[J]. 戈振兴,边静. 信息通信. 2018(12)
[8]基于Hadoop的气象大数据分析GIS平台设计与试验[J]. 李涛,冯仲科,孙素芬,程文生. 农业机械学报. 2019(01)
[9]一种基于Yarn云计算平台与NMF的大数据聚类算法[J]. 冯新扬,沈建京. 信息网络安全. 2018(08)
[10]Hadoop Hive实现日志数据统计[J]. 张野. 电脑编程技巧与维护. 2018(04)
硕士论文
[1]基于Hadoop平台的地理空间数据管理系统[D]. 张洋.西安电子科技大学 2018
[2]基于Kafka的大规模流数据分布式缓存与分析平台[D]. 牛牧.吉林大学 2016
本文编号：3402922
本文链接：https://www.wllwen.com/kejilunwen/shiyounenyuanlunwen/3402922.html
