基于大数据的桥梁监测数据清洗方法研究
发布时间：2021-04-22 06:41
随着我国桥梁基础设施的大量兴建,国内桥梁健康监测系统的应用及研究亦逐渐成熟,但此前的研究主要集中在基于有效数据的桥梁结构损伤识别及安全预警等方面,对于监测数据本身的数据异常及清洗研究尚不成熟。考虑到数据质量对于后续桥梁结构服役性能分析的重要性,本文首先构建大数据平台,充分利用其高效率的平行计算能力及高容错率的分布式文件系统,对监测数据达到秒级的处理效果,保证数据清洗、数据分析及安全预警的实时性。此外,本文以南京大胜关高速铁路钢桁拱桥及烈士河中小公路桥为研究对象,针对不同数据类型分别进行对比分析数据清洗算法的有效性及可行性。本文主要研究内容及结论如下:（1）构建了基于大数据的高可靠性、高可用性、高存储效率及高扩展性桥梁健康监测系统分析处理平台。在对比分析各种大数据技术优缺点后,该大数据平台处理离线数据选用HDFS实现数据存储,使用Spark实现数据分析建模;处理实时数据采用Kafka实现缓存,采用Spark-streaming读取数据并实时处理。最后通过实验分析,对比验证了该平台在离线计算性能、实时在线性能、可扩展性、容错能力方面的优越性和可靠性。（2）针对监测数据噪声、跳点及漂移现象对...
【文章来源】：东南大学江苏省 211工程院校 985工程院校 教育部直属院校
【文章页数】：91 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第一章 绪论
1.1 研究背景及意义
1.1.1 研究背景
1.1.2 研究意义
1.2 国内外研究现状
1.2.1 桥梁健康监测研究进展
1.2.2 大数据平台研究进展
1.2.3 数据清洗研究进展
1.3 课题来源
1.4 本文主要研究内容
第二章 基于大数据的桥梁健康监测系统平台研究
2.1 大数据技术研究
2.1.1 大数据存储技术
2.1.2 大数据分析技术
2.1.3 大数据实时处理技术
2.2 大数据平台模块架构研究
2.2.1 离线数据分析
2.2.2 实时数据分析
2.3 大数据平台系统实现
2.3.1 总体设计
2.3.2 详细设计
2.3.3 平台实验分析
2.4 本章小结
第三章 桥梁监测大数据的数据异常及清洗方法研究
3.1 数据异常成因及种类分析
3.1.1 数据异常成因
3.1.2 数据异常种类
3.1.3 真实监测数据来源
3.2 数据噪声清洗方法研究
3.2.1 数据噪声清洗滤波方法
3.2.2 桥梁温度数据噪声清洗
3.2.3 桥梁应变数据清洗
3.3 数据跳点清洗方法研究
3.3.1 数据跳点清洗方法
3.3.2 桥梁温度数据跳点清洗
3.3.3 桥梁应变数据跳点清洗
3.4 数据漂移清洗方法研究
3.4.1 数据漂移清洗算法
3.4.2 桥梁温度数据漂移清洗
3.4.3 桥梁应变数据漂移清洗
3.5 本章小结
第四章 桥梁监测大数据的数据缺失修补方法研究
4.1 数据缺失类型及成因
4.2 数据缺失修补方法
4.2.1 一维时程插值方法
4.2.2 一维时程拟合方法
4.2.3 基于支持向量机的关联性补点算法
4.2.4 补点方法对比
4.3 温度数据缺失修补
4.4 应变数据缺失修补
4.5 本章小结
第五章 全文总结与展望
5.1 全文总结
5.2 研究展望
致谢
参考文献
作者简介
【参考文献】：
期刊论文
[1]Spark平台下KNN-ALS模型推荐算法[J]. 邹小波,王佳斌,詹敏. 华侨大学学报(自然科学版). 2019(02)
[2]Hadoop 3.0大数据平台性能[J]. 李士果,卢建云. 电子技术与软件工程. 2019(05)
[3]基于Hadoop的MapReduce运行流程研究[J]. 冯祥,张媛媛. 福建电脑. 2018(12)
[4]MapReduce架构下Reduce任务的调度优化[J]. 冒佳明,王鹏飞,赵然. 无线互联科技. 2018(22)
[5]基于Mycat的分布式数据存储研究[J]. 陈宇收. 中国新通信. 2018(22)
[6]道路工程智能压实数据异常值识别处理方法研究[J]. 谢扬. 市政技术. 2018(05)
[7]Spark Streaming在实时计算中的应用研究[J]. 谢艳晴. 电脑知识与技术. 2018(25)
[8]铁路运输设备技术状态大数据平台研究[J]. 王华伟,史天运,蒋荟,朱槿. 铁道运输与经济. 2018(02)
[9]基于大数据融合的电力安全智能监测与预警平台应用研究[J]. 赵嘉承,林仁,王黎明. 电脑知识与技术. 2017(33)
[10]基于大数据的电力信息通信预警技术研究[J]. 王江亭,靳丹,俞俊,巫乾军. 电力信息与通信技术. 2017(09)
博士论文
[1]基于桥梁全寿命周期的损伤识别及状态评估研究[D]. 吴多.长安大学 2017
[2]桥梁结构损伤识别方法的相关问题研究[D]. 袁颖.大连理工大学 2006
硕士论文
[1]大跨桥梁健康监测数据自诊断与状态评估方法研究[D]. 刘兴旺.东南大学 2017
[2]隧道交通状况的大数据挖掘方法研究[D]. 卢倩.贵州大学 2016
[3]基于Hadoop的桥梁监测数据孤立点挖掘研究[D]. 谭京京.重庆交通大学 2016
[4]基于Hadoop的海量交通数据研究与应用[D]. 王兴武.浙江工业大学 2015
[5]基于Hadoop的桥梁健康监测物联网应用研究[D]. 鲁晓韵.武汉理工大学 2015
[6]基于Storm云平台的电网设备报警数据快速处理的研究[D]. 王铭坤.华北电力大学 2015
[7]公共交通大数据平台架构服务模式研究[D]. 姬倩倩.西安电子科技大学 2014
[8]基于数据挖掘的桥梁监测数据分析[D]. 刘锋.长沙理工大学 2012
[9]孤立点挖掘及其内涵知识发现的研究与应用[D]. 陆声链.广西师范大学 2005
本文编号：3153323
【文章来源】：东南大学江苏省 211工程院校 985工程院校 教育部直属院校
【文章页数】：91 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第一章 绪论
1.1 研究背景及意义
1.1.1 研究背景
1.1.2 研究意义
1.2 国内外研究现状
1.2.1 桥梁健康监测研究进展
1.2.2 大数据平台研究进展
1.2.3 数据清洗研究进展
1.3 课题来源
1.4 本文主要研究内容
第二章 基于大数据的桥梁健康监测系统平台研究
2.1 大数据技术研究
2.1.1 大数据存储技术
2.1.2 大数据分析技术
2.1.3 大数据实时处理技术
2.2 大数据平台模块架构研究
2.2.1 离线数据分析
2.2.2 实时数据分析
2.3 大数据平台系统实现
2.3.1 总体设计
2.3.2 详细设计
2.3.3 平台实验分析
2.4 本章小结
第三章 桥梁监测大数据的数据异常及清洗方法研究
3.1 数据异常成因及种类分析
3.1.1 数据异常成因
3.1.2 数据异常种类
3.1.3 真实监测数据来源
3.2 数据噪声清洗方法研究
3.2.1 数据噪声清洗滤波方法
3.2.2 桥梁温度数据噪声清洗
3.2.3 桥梁应变数据清洗
3.3 数据跳点清洗方法研究
3.3.1 数据跳点清洗方法
3.3.2 桥梁温度数据跳点清洗
3.3.3 桥梁应变数据跳点清洗
3.4 数据漂移清洗方法研究
3.4.1 数据漂移清洗算法
3.4.2 桥梁温度数据漂移清洗
3.4.3 桥梁应变数据漂移清洗
3.5 本章小结
第四章 桥梁监测大数据的数据缺失修补方法研究
4.1 数据缺失类型及成因
4.2 数据缺失修补方法
4.2.1 一维时程插值方法
4.2.2 一维时程拟合方法
4.2.3 基于支持向量机的关联性补点算法
4.2.4 补点方法对比
4.3 温度数据缺失修补
4.4 应变数据缺失修补
4.5 本章小结
第五章 全文总结与展望
5.1 全文总结
5.2 研究展望
致谢
参考文献
作者简介
【参考文献】：
期刊论文
[1]Spark平台下KNN-ALS模型推荐算法[J]. 邹小波,王佳斌,詹敏. 华侨大学学报(自然科学版). 2019(02)
[2]Hadoop 3.0大数据平台性能[J]. 李士果,卢建云. 电子技术与软件工程. 2019(05)
[3]基于Hadoop的MapReduce运行流程研究[J]. 冯祥,张媛媛. 福建电脑. 2018(12)
[4]MapReduce架构下Reduce任务的调度优化[J]. 冒佳明,王鹏飞,赵然. 无线互联科技. 2018(22)
[5]基于Mycat的分布式数据存储研究[J]. 陈宇收. 中国新通信. 2018(22)
[6]道路工程智能压实数据异常值识别处理方法研究[J]. 谢扬. 市政技术. 2018(05)
[7]Spark Streaming在实时计算中的应用研究[J]. 谢艳晴. 电脑知识与技术. 2018(25)
[8]铁路运输设备技术状态大数据平台研究[J]. 王华伟,史天运,蒋荟,朱槿. 铁道运输与经济. 2018(02)
[9]基于大数据融合的电力安全智能监测与预警平台应用研究[J]. 赵嘉承,林仁,王黎明. 电脑知识与技术. 2017(33)
[10]基于大数据的电力信息通信预警技术研究[J]. 王江亭,靳丹,俞俊,巫乾军. 电力信息与通信技术. 2017(09)
博士论文
[1]基于桥梁全寿命周期的损伤识别及状态评估研究[D]. 吴多.长安大学 2017
[2]桥梁结构损伤识别方法的相关问题研究[D]. 袁颖.大连理工大学 2006
硕士论文
[1]大跨桥梁健康监测数据自诊断与状态评估方法研究[D]. 刘兴旺.东南大学 2017
[2]隧道交通状况的大数据挖掘方法研究[D]. 卢倩.贵州大学 2016
[3]基于Hadoop的桥梁监测数据孤立点挖掘研究[D]. 谭京京.重庆交通大学 2016
[4]基于Hadoop的海量交通数据研究与应用[D]. 王兴武.浙江工业大学 2015
[5]基于Hadoop的桥梁健康监测物联网应用研究[D]. 鲁晓韵.武汉理工大学 2015
[6]基于Storm云平台的电网设备报警数据快速处理的研究[D]. 王铭坤.华北电力大学 2015
[7]公共交通大数据平台架构服务模式研究[D]. 姬倩倩.西安电子科技大学 2014
[8]基于数据挖掘的桥梁监测数据分析[D]. 刘锋.长沙理工大学 2012
[9]孤立点挖掘及其内涵知识发现的研究与应用[D]. 陆声链.广西师范大学 2005
本文编号：3153323
本文链接：https://www.wllwen.com/kejilunwen/daoluqiaoliang/3153323.html
