Hadoop平台下数据质量计算方法的实现

发布时间：2021-03-16 15:07

　　本文基于Hadoop分布式计算思想,利用美国地震学研究联合会（IRIS）数据管理中心（DMC）发布的地震波形数据质量分析工具ISPAQ（IRIS System for Portable Assessment of Quality）对中国地震数据（西安）备份中心存储的测震波形数据资源进行质量分析。本文通过搭建分布式系统计算陕西、宁夏两个区域台网的波形数据质量以及使用MapReduce进一步统计分析,对整个业务框架进行测试实践。测试结果表明分布式架构下中国地震数据（西安）备份中心存储的miniSEED格式测震波形数据使用ISPAQ进行质量计算的可实施性。本文所构建的计算框架不仅便于数据管理者对测震数据质量的把控,同时也便于业界学者择优择需对数据进行使用分析。 

【文章来源】：信息技术与信息化. 2020,(10)

【文章页数】：5 页

【部分图文】：

图1 分布式文件系统

单?词统计业务的MapReduce流程图

Yarn运行机制

【参考文献】：
期刊论文
[1]测震台网实时波形数据质量自动监控[J]. 黄玲珠,林彬华,王士成.  华南地震. 2017(04)
[2]中国地震台网观测系统特性分析与资料应用研究[J]. 任枭.  国际地震动态. 2014(02)
[3]流动地震观测背景噪声的台基响应[J]. 葛洪魁,陈海潮,欧阳飚,杨微,张梅,袁松湧,王宝善.  地球物理学报. 2013(03)
[4]中国数字地震台网的建设与发展[J]. 刘瑞丰,高景春,陈运泰,吴忠良,黄志斌,徐志国,孙丽.  地震学报. 2008(05)

硕士论文
[1]基于Hadoop的地震数据处理方法[D]. 王鑫.吉林大学 2017
[2]地震台网记录数据质量评估的方法研究与实现[D]. 孙业君.东南大学 2015



本文编号：3086218