基于Hadoop的探地雷达数据并行处理方法研究

发布时间：2018-04-14 10:36

  本文选题：Hadoop + 探地雷达数据　； 参考：《系统仿真学报》2017年01期

【摘要】：大数据及云计算等技术带来的科研方式的转变影响着探地雷达数据处理领域的研究工作,利用云计算平台对大规模探地雷达数据进行了数据解析的研究工作,通过流式处理框架Storm平台对产生的探地雷达数据进行了数据预处理,解决了探地雷达数据格式与Hadoop平台数据处理输入格式不匹配的问题。并在Hadoop平台下实现了并行化的卷积、反卷积与增益相结合的数据滤波处理,对滤波效果和运行性能指标进行了分析。仿真实验结果表明,该方法能准确有效地对探地雷达数据进行滤波解析,在运算速度、并行化加速度性能上都较传统方法有明显的改善。
[Abstract]:The transformation of scientific research methods brought about by big data and cloud computing technology has affected the research work in the field of GPR data processing, using cloud computing platform to analyze the data of large-scale GPR data.The data of ground penetrating radar (GPR) is preprocessed by flow processing framework (Storm), which solves the mismatch between GPR data format and Hadoop data processing input format.The parallel convolution, deconvolution and gain data filtering are realized on Hadoop platform. The filtering effect and performance index are analyzed.The simulation results show that this method can be used to filter and analyze GPR data accurately and effectively, and the performance of computation speed and parallelization acceleration are obviously improved compared with the traditional method.
【作者单位】： 中国矿业大学(北京)机电与信息工程学院;
【基金】：国家重大科学仪器设备开发专项(2012YQ 030126) 核三废专项科研课题(环FZ1402-3)
【分类号】：TN957.52

【参考文献】

相关期刊论文 前2条

1 李贵兵;金炜东;蒋鹏;付小利;熊定鸿;谷鹏举;;面向大规模监测数据的高铁故障诊断技术研究[J];系统仿真学报;2014年10期

2 向小军;高阳;商琳;杨育彬;;基于Hadoop平台的海量文本分类的并行化[J];计算机科学;2011年10期

【共引文献】

相关期刊论文 前10条

1 王刘旺;朱永利;贾亚飞;;一种多源海量局部放电信号脉冲的并行提取方法[J];系统仿真学报;2017年01期

2 梁胤程;袁媛;杨峰;;基于Hadoop的探地雷达数据并行处理方法研究[J];系统仿真学报;2017年01期

3 李宏升;顾才东;;云计算大规模服务器故障诊断平台的设计[J];现代电子技术;2016年18期

4 朱亚琼;罗伟;;一种基于动态调度的数据挖掘并行算法[J];现代电子技术;2016年15期

5 李钊;李晓;王春梅;李诚;杨春;;一种基于MapReduce的文本聚类方法研究[J];计算机科学;2016年01期

6 朱建林;彭鲸桥;杨小平;王倩;;融入词和文本关系的文本表示模型研究[J];山西大学学报(自然科学版);2015年03期

7 王小林;肖慧;邰伟鹏;;基于Hadoop平台的文本相似度检测系统的研究[J];计算机技术与发展;2015年08期

8 闫威;马宗民;;基于多谓词选择的海量XML数据并行查询方法[J];小型微型计算机系统;2015年07期

9 何敏;武德安;吴磊;;基于MapReduce的平均多项朴素贝叶斯文本分类[J];计算机应用研究;2016年01期

10 梅文涵;杨建喜;;基于大数据的桥梁监测信息分类技术研究[J];科技创业月刊;2015年05期

【二级参考文献】

相关期刊论文 前10条

1 赵晶晶;杨燕;李天瑞;曾京;魏来;;基于近似熵及EMD的高铁故障诊断[J];计算机科学;2014年01期

2 徐雅斌;李卓;陈俊伊;;基于改进K最近邻分类算法的不良网页并行识别[J];计算机应用;2013年12期

3 刘义;景宁;陈荦;熊伟;;MapReduce框架下基于R-树的k-近邻连接算法[J];软件学报;2013年08期

4 秦娜;金炜东;黄进;苟先太;蒋鹏;;高速列车转向架故障信号的小波熵特征分析[J];计算机应用研究;2013年12期

5 何华武;;高速铁路运行安全检测监测与监控技术[J];中国铁路;2013年03期

6 赵成兵;李天瑞;王仲刚;高子U，

本文编号：1748971