基于Hadoop的地震数据处理方法

发布时间：2017-12-31 09:03

  本文关键词：基于Hadoop的地震数据处理方法　出处：《吉林大学》2017年硕士论文　论文类型：学位论文

  更多相关文章： 大数据 Hadoop MapReduce 地震勘探 地震背景噪声

【摘要】：地震数据是一种由地壳震动产生的数字信号,被人们常用作探究地下岩土结构,以及寻找油气资源的一种媒介,其价值意义是不可估量的。随着科技发展,越来越多的人工地震实验被开展,随着每一次成本较高的野外试验完成都会产生大量的地震数据回收到数据处理中心,所以,对于数据中心而言数据的存储以及处理环节的重要性是毋庸置疑的。文章首先介绍了数据处理中心从数据回收到数据处理的相关流程,以及数据中心目前在地震数据存储、提取、处理三个方面所存在的问题,分析了在大数据环境下,以传统方式存储和处理地震数据的效率低下问题。随着地震数据的不断倍增,传统串行工作方式已不能高效率地完成地震数据处理工作,面对这写严峻的问题,在数据处理中心现有的硬件基础上,本文提出了基于Hadoop的地震数据处理方法,通过分布式并行计算的方式充分利用集群性能来提高数据存储的冗余性和数据处理的高效性。面对这个问题,本文首先提出了采用Hadoop的分布式框架来解决大数据带来的数据计算压力问题的方案,将现有的多个服务器构建成集群的方式形成分布式系统来实现并行计算,以其特有的MapReduce并行计算模型来实现数据分块处理,通过这种方式来解决一台工作站的性能瓶颈。进而选用地震数据转换这一任务案例来充分体现Hadoop在大数据环境下的处理优势,采用不同处理方式进行数据转换效率分析,并将实验结果进行对比,展现出Hadoop在大数据环境下处理的巨大优势。通过数据转换案例的实验结果对比进一步提出基于Hadoop的分布式并行架构也适用于数据中心正在进行的地震数据背景噪声处理算法,并从接下来章节分别从数据存储、查询、提取各方面效率最大化来设计实现基于私有云计算的地震数据处理方法。在地震数据存储方面,由于数据存储在SAN磁盘中,所以其安全性和冗余性存在较大隐患,并且只能通过串行I/O方式进行数据提取导致无法更好地满足客户端提取数据高效性的要求,因此提出了地震数据分布式存储的方案。通过与RDBMS的对比,充分展现地震数据分布式存储的各项优势,进而设计并实现了数据存储结构模式和相关机制方法。通过对Hadoop分布式数据库HBase的研究,了解到数据分布式存储引进了影响客户端查询效率的问题,所以,为了更高效地进行后续地震数据处理环节,进一步仔细研究其影响查询效率的因素,最终通过HBase扩展的协处理器来实现数据表的二级索引查询,提高客户端数据查询速度,有效地弥补了地震数据分布式存储带来的一些查询方面的不足。解决查询问题的同时,在数据分布式的存储环境下进一步设计并实现了基于MapReduce的地震数据快速提取,这一方案大大提高了客户端通过传统串行I/O方式进行数据提取的效率,为下一步高效的进行地震数据背景噪声处理奠定基础。在实现地震数据分布式存储和基于MapReduce高效数据并行提取的条件下,最后一章设计并实现了基于私有云计算的地震数据背景噪声处理算法,采用Hadoop集群模式进行分布式并行处理,在实现的同时进一步分析MapReduce作业节点对数据处理效率的影响因素,通过实验对比Hadoop与传统串行方式的处理效率并得出相关结论。充分体现大数据环境下Hadoop的巨大优势。
[Abstract]:Seismic data is a kind of digital signal produced by crustal vibration , which is often used as a medium for exploring underground geotechnical structures and searching for oil and gas resources . The last chapter designs and implements the seismic data background noise processing algorithm based on private cloud computing , adopts the Hadoop cluster mode to carry out distributed parallel processing , and further analyzes the influence factors of the MapReduce operation node on the data processing efficiency , and compares Hadoop with the traditional serial mode through experiments to obtain the relevant conclusion . The great advantage of Hadoop under the large data environment is fully embodied .

【学位授予单位】：吉林大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：P631.44;TP311.13

【相似文献】

相关期刊论文 前5条

1 高少武,赵卫峰,赵波,梁意文,陈世鸿;分布式地震数据处理系统研究[J];计算机工程与设计;2003年01期

2 李肯立;杨进;彭成斌;秦云川;;基于MPI+OpenMP混合模型的并行地震数据处理支撑库的研究[J];计算机工程与科学;2007年12期

3 和跃时;地震数据处理中SHK和DBF格式文件互换技术[J];地震地磁观测与研究;1998年06期

4 刘其成;郑纬民;薛巍;孙立民;;时移地震数据处理中基于mobile agent的并行相位校正[J];计算机应用研究;2010年01期

5 朱桂兰;地震数据处理中Turbo　C与Foxbase（Dbase）的接口技术[J];地震地磁观测与研究;1994年03期

相关会议论文 前10条

1 唐刚;马坚伟;杨慧珠;;压缩采样及其在地震数据处理中的应用[A];中国地球物理·2009[C];2009年

2 赵改善;;21世纪的地震数据处理系统[A];2001年中国地球物理学会年刊——中国地球物理学会第十七届年会论文集[C];2001年

3 陈超;何登科;任孟莉;冀瑞君;;地震数据处理质量监控研究[A];中国地球物理2013——第二十四专题论文集[C];2013年

4 王秀闽;刘洪;刘永江;宋亮;孟小红;;地震数据处理系统中交互作业编辑与运行[A];中国科学院地质与地球物理研究所2007学术论文汇编(第六卷)[C];2008年

5 葛维亮;庹先国;李怀良;王洪辉;张赓;葛宝;;地震数据处理的可配置数字滤波器研究[A];中国地球物理2010——中国地球物理学会第二十六届年会、中国地震学会第十三次学术大会论文集[C];2010年

6 陈忠焕;陆文凯;;反射系数估计的快速L1范数优化算法[A];中国地球物理·2009[C];2009年

7 韩佳君;韩立国;;Curvelet变换域K-L变换去噪方法研究[A];中国地球物理·2009[C];2009年

8 张宏;罗涛;孙耀华;唐晓川;李世红;张国钦;任军战;;ALPHA／GRISYS地震数据处理系统的应用[A];1995年中国地球物理学会第十一届学术年会论文集[C];1995年

9 于建华;杨长春;李幼铭;;适用于迭前处理的数据内插方法及应用[A];1996年中国地球物理学会第十二届学术年会论文集[C];1996年

10 王者江;石战结;曾昭发;;ProMax系统处理探地雷达数据[A];中国地球物理学会第二十届年会论文集[C];2004年

相关重要报纸文章 前6条

1 物新;地震数据处理专家赵波[N];中国石油报;2001年

2 贾亚军　许涛 塔依尔·伊布拉音 杨敏;石油地震数据中心转向绿色[N];计算机世界;2009年

3 刘冀人;著名地震数据处理专家刘超颖[N];中国石油报;2001年

4 通讯员　祝宽海;GRISYSV8.0地震处理系统通过验收[N];中国石油报;2006年

5 记者 刘晓飞 通讯员 韩梅;GeoEastV1.0：欲与洋品牌试比高[N];中国石油报;2005年

6 周宏;国产石油勘探软件出手不凡[N];中国矿业报;2001年

相关博士学位论文 前2条

1 徐冰;随钻地震数据处理系统软件体系结构研究[D];中国海洋大学;2013年

2 袁修贵;多分辨分析理论与深度成像和地震数据处理[D];中南大学;2005年

相关硕士学位论文 前10条

1 吴昊;辽河地区地震数据处理系统的设计与实现[D];大连理工大学;2016年

2 王鑫;基于Hadoop的地震数据处理方法[D];吉林大学;2017年

3 余惠梅;地震数据处理虚拟仿真的后端实现[D];长江大学;2017年

4 陈曦;适用于地震数据处理的分布式执行控制系统的设计与实现[D];电子科技大学;2013年

5 张兰兰;τ-p变换在地震数据处理中的研究应用[D];中国地质大学（北京）;2011年

6 彭俊杰;基于CUDA平台地震数据处理研究[D];湖南大学;2009年

7 刘爽;基于CEEMD的地震数据处理研究与应用[D];吉林大学;2014年

8 严蓉;MPS海量地震数据处理的质量控制与分析[D];中国地质大学（北京）;2009年

9 杨进;地震数据处理中的并行计算技术研究[D];湖南大学;2008年

10 齐雪生;并行地震数据处理支撑系统研究[D];湖南大学;2007年

，

本文编号：1359080