大数据分析技术在地质灾害系统中的应用研究

发布时间：2020-04-17 22:16

【摘要】：我国地质灾害的发生较为频繁,由于山体滑坡、泥石流等地质灾害发生的次数和造成的危害不断扩大,推动了科研人员研究地质灾害监测技术的快速发展。本论文主要对地质灾害监测系统中所提供的数据进行数据挖掘,利用关联规则分析方法对数据进行深度分析,以达到更好的预测功能。本文主要是对传统Apriori算法进行改进,使之可以更适合应用到地质灾害监测系统中海量数据的深度挖掘。针对传统Apriori算法的不足,本课题在关联规则的挖掘中引入了事务压缩算法,在垂直数据格式下,对挖掘频繁项集的步骤上进行了优化,并且针对单个计算机在一些方面存在着性能不足、不能较好处理大规模数据的弊端,提出了基于分布式编程模型改进的MEC-Apriori(MapReduce-ECLAT-Compress-Apriori)新算法,并且用地质灾害监测系统所提供的数据验证了本算法的正确性。论文主要工作如下:1)分析了关联规则算法中的Apriori算法和ECLAT算法的基本思想以及算法步骤和不足。2)为了优化Apriori算法,将事务压缩的特性引入到了改进的算法中,优化了改进算法在挖掘频繁项集的时间性能。3)基于ECLAT算法,用散列技术以及将水平数据转换成垂直数据的方法,优化传统Apriori算法在挖掘频繁1项集的时间效率。4)提出了基于分布式的MEC-Apriori算法,用分布式计算框架优化传统Apriori算法的时间性能。最后用UCI数据库中的数据集进行实验分析。5)为了进一步验证本文算法设计的可行性,搭建了Hadoop集群环境,以地质灾害系统监测到的数据进行实验。实验结果表明,设计的并行算法在挖掘关联规则在时间性能上,以及挖掘频繁1项集上都有了显著提高,成功的解决了传统Apriori算法在挖掘频繁项集以及候选项集上的时间效率低的缺点。并且用改进关联规则算法挖掘地质灾害监测数据中得到了潜在的价值信息。
【图文】：

西安工业大学硕士学位论文监测点传出的大量数据，并要求高实时性的分析监测线传感器网络节点包含着数量众多的传感器，采集过这些庞大的数据量，如果想要处理好，，需要的计算量，如果用传统的技术去处理海量的数据，会因为硬件挖掘的结果也会出现一些较大的差异[6]。然而地质灾准确性高，这就与传统的数据挖掘出现了悖论。所以及分析的错误导致人民的生命财产安全受到危害。

挖掘的结果也会出现一些较大的差异[6]。然而地质灾准确性高，这就与传统的数据挖掘出现了悖论。所以及分析的错误导致人民的生命财产安全受到危害。图 1.1 泥石流灾害
【学位授予单位】：西安工业大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：P694;TP311.13

【参考文献】

相关期刊论文 前10条

1 黄健;巨能攀;何朝阳;肖洋;;基于新一代信息技术的地质灾害监测预警系统建设[J];工程地质学报;2015年01期

2 郑志娴;;基于云计算的Apriori算法设计[J];莆田学院学报;2014年05期

3 何朝阳;巨能攀;黄健;;地质灾害海量监测数据处理方法研究[J];安全与环境工程;2014年05期

4 刘振亚;张启平;;国家电网发展模式研究[J];中国电机工程学报;2013年07期

5 刘敏娴;马强;宁以风;;基于频繁矩阵的Apriori算法改进[J];计算机工程与设计;2012年11期

6 崔杰;李陶深;兰红星;;基于Hadoop的海量数据存储平台设计与开发[J];计算机研究与发展;2012年S1期

7 邱凤翔;徐治皋;司风琪;赵跃;;基于主元分析的关联规则挖掘及在电厂中的应用[J];电力系统自动化;2009年16期

8 邓景毅;;关联规则数据挖掘综述[J];电脑学习;2006年03期

9 何月顺,杜萍,丁秋林;基于数据挖掘思想的故障模式分析[J];计算机应用研究;2005年11期

10 何月顺,丁秋林;计算机半结构化数据源的数据挖掘技术研究[J];哈尔滨工业大学学报;2005年10期

相关会议论文 前1条

1 钱晓真;陈琰;黄文思;;基于Hadoop生态环境的大数据平台在电网公司海量数据准实时处理中的应用[A];2016智能电网发展研讨会论文集[C];2016年

相关博士学位论文 前4条

1 段功豪;基于多结构数据挖掘的滑坡灾害预测模型研究[D];中国地质大学;2016年

2 刘晓慧;基于预案的突发地质灾害智能应急决策支持模型研究[D];中国地质大学;2014年

3 郭秀娟;基于关联规则数据挖掘算法的研究[D];吉林大学;2004年

4 毛国君;数据挖掘技术与关联规则挖掘算法研究[D];北京工业大学;2003年

相关硕士学位论文 前7条

1 刘思何;基于C#开发环境的一类滑坡监测系统的设计与实现[D];山西大学;2017年

2 吴哲超;高速公路工程处治滑坡监测预警系统研究[D];长安大学;2017年

3 刘君;基于GPS监测技术的滑坡稳定性研究[D];西南交通大学;2017年

4 陈娜;基于Hadoop平台的海量数据处理应用[D];吉林大学;2012年

5 白云龙;基于Hadoop的数据挖掘算法研究与实现[D];北京邮电大学;2011年

6 杨宸铸;基于HADOOP的数据挖掘研究[D];重庆大学;2010年

7 庄波;数据流中频繁模式挖掘方法的研究及应用[D];山东师范大学;2008年

本文编号：2631367