设备大数据压缩存储查询平台建设及工况聚类算法
发布时间：2021-11-02 09:11
在工业4.0的背景下,物联网相关技术的逐步兴起使其终端设备产生了愈来愈多的数据,对海量的数据需要借助大数据、数据挖掘等技术进行处理和分析。在实际应用中大量的设备传感器数据存在着许多可供压缩的冗余信息,需要在数据存储过程中进行压缩存储以缩减其数据规模,存储压缩后的数据还应满足用户提供实时的查询检索功能。另外设备运行过程中积累的大量运行数据也为数据的挖掘提供了基础,可用于对设备的运行状态进行分析,例如对设备工况进行识别。针对以上需求,本文在建立设备大数据平台的基础上进一步提出设备数据存储压缩查询以及工况聚类算法,主要研究内容如下:（1）面向设备的全生命周期以及设备信息分析共享的需求,建立设备大数据存储分析管理平台。平台底层对数据格式进行解析之后存储至HBase中,HDFS用于存储底层数据的原始文件,Spark作为计算引擎可用于数据指标的再计算,同时数据平台应用层还可用于设备数据的可视化显示操作。（2）针对设备数据在存储过程中存在的大量冗余信息,本文提出查询压缩方案以减少数据存储空间。将数据按不同的数据通道分别进行压缩后存储至HDFS中,并将存储的文件块信息写入到数据库中。接收到查询请求后,...
【文章来源】：北京交通大学北京市 211工程院校 教育部直属院校
【文章页数】：66 页
【学位级别】：硕士
【文章目录】：
致谢
摘要
ABSTRACT
1 引言
1.1 研究背景及意义
1.2 国内外研究现状
1.2.1 工业大数据平台发展现状
1.2.2 数据查询压缩算法研究现状
1.2.3 设备工况识别算法
1.3 本文研究内容及主要贡献
1.4 论文章节安排
1.5 本章小结
2 设备传感器及日志大数据平台建设
2.1 大数据平台总体需求概述
2.2 大数据平台系统架构设计
2.2.1 系统功能架构设计
2.2.2 系统物理架构设计
2.2.3 系统软件支撑
2.3 数据存储结构以及应用接口实现
2.3.1 HDFS存储文件设计
2.3.2 HBASE表结构设计
2.3.3 交互接口设计
2.4 本章小结
3 结构化设备大数据压缩存储与查询方案
3.1 数据压缩存储算法概述
3.1.1 数据压缩算法原理
3.1.2 Hadoop结构化数据存储
3.2 查询压缩算法方案设计
3.2.1 算法整体方案概述
3.2.2 文件查询与索引策略
3.3 文件Web浏览器设计及查询可视化
3.4 系统测试和结果
3.4.1 数据存储层测试
3.4.2 数据应用层测试
3.5 本章小结
4 设备时间序列数据工况聚类算法
4.1 设备数据预处理概述
4.2 时间序列预处理技术
4.2.1 序列标准化及主成分分析
4.2.2 时间序列滑动窗口模型
4.3 设备数据工况聚类算法
4.3.1 时间序列聚类算法介绍
4.3.2 相关聚类算法原理
4.3.3 评价指标
4.4 实验结果与分析
4.5 本章小结
5 总结和展望
5.1 工作总结
5.2 工作展望
参考文献
作者简历及攻读硕士学位期间取得的研究成果
学位论文数据集
【参考文献】：
期刊论文
[1]大数据技术应用现状及发展趋势研究[J]. 唐俊林. 信息记录材料. 2018(12)
[2]行列混合存储的数据压缩策略研究[J]. 魏玲,郭新朋. 小型微型计算机系统. 2017(06)
[3]工业物联网大数据平台在工程机械行业的应用[J]. 张启亮,韩键,姜丽萍. 信息技术与标准化. 2017(04)
[4]基于Hadoop平台的数据压缩技术研究[J]. 王菊,徐董冬. 数字技术与应用. 2016(08)
[5]无损数据压缩与解压算法的介绍与实现[J]. 余兴阁. 信息与电脑(理论版). 2016(01)
[6]一种基于k-均值的DBSCAN算法参数动态选择方法[J]. 王兆丰,单甘霖. 计算机工程与应用. 2017(03)
[7]工业4.0时代的信息化系统体系结构研究[J]. 严新金,彭发强,王锦兰,林晔琛,胡国良. 中国管理信息化. 2015(10)
[8]基于支持向量机的风电机组运行工况分类方法[J]. 刘永前,王飞,时文刚,卓越. 太阳能学报. 2010(09)
[9]空调节能多工况分区控制及专家系统的实现[J]. 高岩,龚至豪,黄鸿. 北京理工大学学报. 1997(03)
硕士论文
[1]基于大数据的电力系统信息质量评估[D]. 焦亚菲.华北电力大学 2017
[2]基于实测时间序列的风电场机群划分研究[D]. 李诗童.华北电力大学(北京) 2017
[3]工业大数据环境下的混合故障诊断模型研究[D]. 钟福磊.西安电子科技大学 2015
[4]四川移动PUSH信息服务云模块的设计与实现[D]. 谭典.电子科技大学 2015
[5]Hadoop平台上结构化数据的压缩技术研究与实现[D]. 田波.东华大学 2015
[6]基于MVC的DB公司采购平台测试管理软件设计[D]. 刘悦.复旦大学 2012
本文编号：3471759
【文章来源】：北京交通大学北京市 211工程院校 教育部直属院校
【文章页数】：66 页
【学位级别】：硕士
【文章目录】：
致谢
摘要
ABSTRACT
1 引言
1.1 研究背景及意义
1.2 国内外研究现状
1.2.1 工业大数据平台发展现状
1.2.2 数据查询压缩算法研究现状
1.2.3 设备工况识别算法
1.3 本文研究内容及主要贡献
1.4 论文章节安排
1.5 本章小结
2 设备传感器及日志大数据平台建设
2.1 大数据平台总体需求概述
2.2 大数据平台系统架构设计
2.2.1 系统功能架构设计
2.2.2 系统物理架构设计
2.2.3 系统软件支撑
2.3 数据存储结构以及应用接口实现
2.3.1 HDFS存储文件设计
2.3.2 HBASE表结构设计
2.3.3 交互接口设计
2.4 本章小结
3 结构化设备大数据压缩存储与查询方案
3.1 数据压缩存储算法概述
3.1.1 数据压缩算法原理
3.1.2 Hadoop结构化数据存储
3.2 查询压缩算法方案设计
3.2.1 算法整体方案概述
3.2.2 文件查询与索引策略
3.3 文件Web浏览器设计及查询可视化
3.4 系统测试和结果
3.4.1 数据存储层测试
3.4.2 数据应用层测试
3.5 本章小结
4 设备时间序列数据工况聚类算法
4.1 设备数据预处理概述
4.2 时间序列预处理技术
4.2.1 序列标准化及主成分分析
4.2.2 时间序列滑动窗口模型
4.3 设备数据工况聚类算法
4.3.1 时间序列聚类算法介绍
4.3.2 相关聚类算法原理
4.3.3 评价指标
4.4 实验结果与分析
4.5 本章小结
5 总结和展望
5.1 工作总结
5.2 工作展望
参考文献
作者简历及攻读硕士学位期间取得的研究成果
学位论文数据集
【参考文献】：
期刊论文
[1]大数据技术应用现状及发展趋势研究[J]. 唐俊林. 信息记录材料. 2018(12)
[2]行列混合存储的数据压缩策略研究[J]. 魏玲,郭新朋. 小型微型计算机系统. 2017(06)
[3]工业物联网大数据平台在工程机械行业的应用[J]. 张启亮,韩键,姜丽萍. 信息技术与标准化. 2017(04)
[4]基于Hadoop平台的数据压缩技术研究[J]. 王菊,徐董冬. 数字技术与应用. 2016(08)
[5]无损数据压缩与解压算法的介绍与实现[J]. 余兴阁. 信息与电脑(理论版). 2016(01)
[6]一种基于k-均值的DBSCAN算法参数动态选择方法[J]. 王兆丰,单甘霖. 计算机工程与应用. 2017(03)
[7]工业4.0时代的信息化系统体系结构研究[J]. 严新金,彭发强,王锦兰,林晔琛,胡国良. 中国管理信息化. 2015(10)
[8]基于支持向量机的风电机组运行工况分类方法[J]. 刘永前,王飞,时文刚,卓越. 太阳能学报. 2010(09)
[9]空调节能多工况分区控制及专家系统的实现[J]. 高岩,龚至豪,黄鸿. 北京理工大学学报. 1997(03)
硕士论文
[1]基于大数据的电力系统信息质量评估[D]. 焦亚菲.华北电力大学 2017
[2]基于实测时间序列的风电场机群划分研究[D]. 李诗童.华北电力大学(北京) 2017
[3]工业大数据环境下的混合故障诊断模型研究[D]. 钟福磊.西安电子科技大学 2015
[4]四川移动PUSH信息服务云模块的设计与实现[D]. 谭典.电子科技大学 2015
[5]Hadoop平台上结构化数据的压缩技术研究与实现[D]. 田波.东华大学 2015
[6]基于MVC的DB公司采购平台测试管理软件设计[D]. 刘悦.复旦大学 2012
本文编号：3471759
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3471759.html
