基于Hadoop的桥梁监测数据孤立点挖掘研究

发布时间：2017-12-23 14:21

  本文关键词：基于Hadoop的桥梁监测数据孤立点挖掘研究　出处：《重庆交通大学》2016年硕士论文　论文类型：学位论文

  更多相关文章： 桥梁监测 孤立点挖掘 k-近邻算法 k-均值聚类

【摘要】：桥梁是公路交通的重要组成部分,保证桥梁的运营安全极为重要。桥梁健康监测是一种通用的管理办法,监测数据处理是其中的一个核心内容。随着时间的推移,桥梁监测系统会累积越来越多的数据,而传统的数据处理技术在面对日益增长的数据存储与处理时压力越来越大。Hadoop是一种流行的大数据处理平台,它以HDFS分布式文件存储系统及MapReduce计算框架为核心,Hive、Sqoop等工具为枝干,形成了一个完整的大数据处理生态系统,使用Hadoop处理大量桥梁监测数据,具有理论意义及现实价值。数据挖掘是常用的一种数据处理手段,孤立点挖掘是其中的热门研究之一,目前在许多行业与领域如网络入侵检测、天气预报等都有所应用,而在桥梁监测领域,孤立点数据的挖掘研究还没有得到足够重视。本文主要研究基于Hadoop的桥梁监测数据孤立点挖掘方案,研究内容体现在以下几个方面:第一,针对K-近邻孤立点算法开销大的缺点,结合划分思想、聚类思想及最小限界矩阵理论进行了改进,提出一种基于k-均值聚类划分的k-近邻孤立点算法(KMKNN)。该算法首先对数据集进行均值聚类,以聚类结果作为划分依据把数据集分成不同区域,判断每个区域是否包含孤立点,对不存在孤立点的区域进行剪枝处理,最后对包含孤立点的候选区域中的数据进行k-近邻计算,得到孤立点。实验表明,改进算法相比原始K-近邻算法提高了运算效率。第二,KMKNN算法的缺点在于对数据集进行K-均值聚类时,需要给定聚类数目且随机选取初始聚类中心,得到的聚类结果精度不高,使得最终得到的孤立点不准确。因此,对KMKNN算法进行改进,使用Canopy聚类计算初始聚类数目,使用最大最小距离算法计算初始聚类中心,提出一种基于Canopy与最大最小距离算法的均值聚类划分k-近邻算法(CMM-KMKNN)。实验表明,改进算法提高了聚类精度及孤立点精度。第三,由于KMKNN及CMM-KMKNN算法需要对数据进行大量迭代计算操作,算法开销大,因此搭建了一个Hadoop集群实验环境,对KMKNN与CMM-KMKNN算法实现Hadoop并行化。利用并行化后的KMKNN及CMM-KMKNN算法进行桥梁数据孤立点挖掘。实验表明,并行算法提高了数据处理速度,得到的孤立点数据准确。
【学位授予单位】：重庆交通大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：U446;TP311.13

【相似文献】

相关期刊论文 前10条

1 杨臻;;一种改进的孤立点检测算法及其应用[J];制造业自动化;2010年02期

2 朱秀莉;顾洪博;杨冬黎;;孤立点检测及在煤矿安全预警系统中的应用[J];河北工程大学学报(自然科学版);2011年02期

3 韦佳;彭宏;林毅申;;基于改进距离的孤立点检测方法[J];华南理工大学学报(自然科学版);2008年09期

4 王越;刘亚辉;徐传运;;基于距离和的孤立点用户意义分析算法及应用[J];重庆理工大学学报(自然科学版);2010年01期

5 秦艳华;;数据挖掘技术中孤立点的分析研究[J];硅谷;2010年04期

6 田银磊;王亚利;;一种改进的聚类和孤立点检测算法[J];科学技术与工程;2010年22期

7 朱政;刘侃;;孤立点分析在税务审计上的发展运用[J];硅谷;2012年19期

8 杨臻;张明慧;;基于双倍距离的孤立点检测算法研究[J];制造业自动化;2013年15期

9 白杨;宋文爱;;基于关联的孤立点检测算法研究与改进[J];机械管理开发;2008年04期

10 王建州;李廉;李泽慧;;基于混沌的孤立点最优识别与探测[J];哈尔滨工业大学学报;2006年11期

相关会议论文 前5条

1 原忠义;唐文忠;许小林;;基于孤立点检测方法对于数据库异常入侵的分析[A];2006中国控制与决策学术年会论文集[C];2006年

2 邵峰晶;孙仁诚;于忠清;;基于单元的孤立点发现改进算法[A];全面建设小康社会：中国科技工作者的历史责任——中国科协2003年学术年会论文集（上）[C];2003年

3 房伟;逄玉俊;路爽;;基于相异度系数和的孤立点挖掘应用与研究[A];2006“数学技术应用科学”[C];2006年

4 郑健;皮德常;;基于共享最近邻的聚类和孤立点检测算法[A];第一届中国高校通信类院系学术研讨会论文集[C];2007年

5 廖国琼;李晶;;基于距离的分布式RFID数据流孤立点检测[A];第26届中国数据库学术会议论文集（A辑）[C];2009年

相关博士学位论文 前3条

1 田江;基于支持向量机的孤立点检测方法研究[D];大连理工大学;2009年

2 余建桥;基于云理论与数据场的空间孤立点挖掘研究[D];西南农业大学;2005年

3 牛琨;聚类分析中若干关键技术及其在电信领域的应用研究[D];北京邮电大学;2007年

相关硕士学位论文 前10条

1 汪博;基于大数据的数据转换平台的设计与实现[D];东南大学;2015年

2 谭京京;基于Hadoop的桥梁监测数据孤立点挖掘研究[D];重庆交通大学;2016年

3 李宁;基于密度的孤立点检测技术研究[D];华中科技大学;2007年

4 刘美玲;基于综合策略支持向量机的孤立点检测技术[D];大连理工大学;2010年

5 刘巍;基于聚类的孤立点发现技术研究及其在审计中的应用[D];中国海洋大学;2010年

6 顾新财;面向多维数据的孤立点挖掘方法研究[D];辽宁工业大学;2011年

7 刘世杰;基于孤立系数的孤立点检测研究[D];中南大学;2011年

8 周书勇;高维孤立点检测算法研究[D];江苏大学;2007年

9 朱吉龙;孤立点检测在移动通信数据分析上的研究与应用[D];广东工业大学;2013年

10 黄慧连;基于关联规则与孤立点的信息舞弊特征识别研究[D];华北电力大学;2013年

，

本文编号：1324237