地震监测数据的Hadoop存储解决方案

发布时间：2021-05-05 17:19

　　根据地震监测数据日常存储实际情况,结合目前主流的Hadoop技术,提出地震监测数据的大数据存储方案,以解决数据存储设备选购常见问题,并对数据存储环境进行详细配置。以内蒙古自治区地震局测震数据为样本,在虚拟机上搭建伪分布集群方式,对数据进行上传及下载操作,以验证该方案的可行性。结果表明:使用Hadoop技术进行地震监测数据存储可靠性更高,且在对历史地震监测数据进行处理时,分析统计手段更多,数据读取速度更快。 

【文章来源】：华南地震. 2020,40(03)

【文章页数】：6 页

【文章目录】：
0 引言
1 关于Hadoop和大数据
    1.1 Map Reduce离线计算
    1.2 YARN资源调度
2 地震监测数据存储方案
    2.1 监测数据的存储结构
    2.2 大数据的数量级
    2.3 物理硬件选择
    2.4 集群规划部署
    2.5 环境配置
3 可行性验证
    3.1 监测数据上传测试
    3.2 已上传数据可操作性测试
4 总结


【参考文献】：
期刊论文
[1]基于Hadoop的风力发电监测大数据存储优化及并行查询方法[J]. 王林童,赵腾,张焰,苏运.  电测与仪表. 2018(11)
[2]基于Hadoop的RDF数据存储及查询优化[J]. 徐德智,刘扬,Sarfraz Ahmed.  计算机应用研究. 2017(02)
[3]Hadoop平台下的地震波形数据存储与应用规划[J]. 王丹宁,柴旭超,王文青.  软件工程. 2016(01)
[4]基于Hadoop的海量数据存储系统设计[J]. 王海荣,刘珂.  科技通报. 2014(09)
[5]测震专业软件评估平台在地震行业中的应用[J]. 章静,林捷,杨乐.  震灾防御技术. 2013(03)
[6]通用测震数据获取软件包的设计与实现[J]. 周辉,申学林,王文青,马亮,任海军,程陈.  地震研究. 2011(01)



本文编号：3170279