传感器网络时间序列数据计算及可视化研究
发布时间：2021-06-26 03:05
结合自身工作,本文以新疆农业大学科学技术学院集中供热系统的具体工程项目,利用大数据分析与挖掘技术深入研究传感器海量时间序列的存储、分布式环境下的相似性查询以及数据可视化技术,从而进行供热系统的智能监测和控制,达到节能环保的目的。在温度监测过程中,随着时间的推移,传感会产生海量的时间序列数据,海量数据的存储是一个重要技术;而数据序列的相关性计算,又是时间序列分析中的基础操作。基于HBase数据库计算长时间序列（比如:1赫兹的传感器,连续产生1年的序列长度可达107数量级）之间的相关性,会产生大量的I/O和网络通信数据,这使得难以应用交互式查询。为了解决这个问题,架设了基于Hadoop和HBase的存储和计算平台,设计了海量时间序列数据的存储和计算框架,并且设计了相关性计算分布式处理方法,最后将该方法应用于工程实践当中,挖掘价值信息并实现数据的可视化。在具体应用中,本项目设计的平台和计算方法的有效性和效率都得到了验证。具体来说,本文解决的关键技术问题是:（1）建立分布式存储和计算平台,设计了针对海量时间序列数据的分布式存储方法,针对非主键查询设计HBase二级索引;（...
【文章来源】：大连理工大学辽宁省 211工程院校 985工程院校 教育部直属院校
【文章页数】：72 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
引言
1 绪论
1.1 研究背景及问题提出
1.2 国内外研究现状
1.2.1 国外研究现状
1.2.2 国内研究现状
1.3 本文研究内容
1.4 论文结构与安排
2 传感器网络海量数据存储及计算的关键技术
2.1 时间序列数据定义
2.2 MapReduce论述
2.2.1 MapReduce简要分析
2.2.2 MapReduce计算框架
2.3 Hadoop和 HBase基本理论
2.3.1 Hadoop简要分析
2.3.2 HBase简要分析
2.4 时间序列数据存储分析
2.5 数据索引技术分析
2.5.1 全局分布式索引
2.5.2 分片位图索引
2.5.3 基于Hadoop框架索引技术
2.5.4 二级索引设计分析
2.5.5 检索数据相似性
2.5.6 数据的高维相似性检索
2.6 本章小结
3 基于Hadoop、HBase的大数据处理平台的实现
3.1 系统平台环境部署
3.1.1 Hadoop集群环境设计
3.1.2 安装配置环境
3.1.3 免密码的远程登录协议配置
3.1.4 配置防火墙
3.1.5 安装配置Java
3.2 安装配置Hadoop
3.3 安装配置HBase
3.4 Hadoop和 HBase安装总结
3.5 本章小结
4 系统设计与架构
4.1 提出问题及思路
4.2 系统总体设计
4.3 数据来源层
4.3.1 温度数据采集
4.4 数据管理层
4.4.1 HBase数据模型
4.4.2 基于HBase的时间序列存储
4.4.3 分布式存储模型
4.4.4 时间序列数据结构化存储设计
4.4.5 数据层的设计
4.5 数据显示层
4.6 本章小结
5 时间序列相关系数估算算法
5.1 相关系数算法及估算方法的概述
5.2 TSDC(Time Series Data Computation)算法
5.3 基于HBase平台进行上下界估算
5.4 时间序列相关系数近似值的计算方法
5.5 针对长序列的快速估算方法
5.6 算法复杂度分析
5.7 实验结果
5.7.1 数据集
5.7.2 实验环境
5.7.3 实验对比算法结果分析
5.8 本章小结
6 温度数据趋势查询和可视化
6.1 粒度的选择
6.2 查询流程
6.3 数据可视化
6.4 可视化结果
6.4.1 界面设计及效果
6.4.2 数据图表展示设计
6.4.3 系统平台展示
6.5 系统运行数据比对
6.6 本章小结
7 总结与展望
参考文献
致谢
【参考文献】：
期刊论文
[1]海量数据下基于Hadoop的分布式FP-Growth算法[J]. 朱颢东,薛校博,李红婵,孟颍辉. 轻工学报. 2018(05)
[2]基于分布式平台Spark的空间文本查询分析[J]. 徐阳,王志杰,钱诗友. 华东师范大学学报(自然科学版). 2018(05)
[3]城市燃气规划设计问题研究[J]. 邓苗苗. 化工管理. 2018(13)
[4]大数据相似性连接查询技术研究进展[J]. 马友忠,张智辉,林春杰. 计算机应用. 2018(04)
[5]多维时空数据协同可视分析方法[J]. 周志光,孙畅,乐丹丹,石晨,刘玉华. 计算机辅助设计与图形学学报. 2017(12)
[6]我国集中供热的现状与对策[J]. 石贺. 山西建筑. 2017(15)
[7]大数据处理对电子商务的影响与服务模式创新[J]. 赵明媚. 赤峰学院学报(自然科学版). 2016(21)
[8]基于MapReduce与项目分类的协同过滤算法[J]. 程曦,陈军. 计算机工程. 2016(07)
[9]云数据管理索引技术研究[J]. 马友忠,孟小峰. 软件学报. 2015(01)
[10]四元树算法在地理国情普查生产管理系统中的应用[J]. 李镇洲,张学之,赵铁锋. 测绘与空间地理信息. 2014(06)
硕士论文
[1]时变数据可视化系统的研究与实现[D]. 王子慧.北京邮电大学 2019
[2]基于Hadoop平台的个性化图书推荐系统的研究[D]. 张春.安徽工业大学 2017
[3]新华网数据新闻栏目研究[D]. 董晓宇.内蒙古大学 2017
[4]分布式存储系统中的高效数据获取技术[D]. 洪扬.上海交通大学 2017
[5]基于云计算的视频处理技术研究及其应用[D]. 孙富.南京邮电大学 2016
[6]自助银行信息管理系统的设计与实现[D]. 孙青.浙江工业大学 2016
[7]基于MapReduce的高校大数据分析挖掘[D]. 司雅楠.河南师范大学 2016
[8]新型互联网服务注册查询系统设计与优化[D]. 胡鸿.北京交通大学 2016
[9]一种基于OpenTSDB的海量实时数据存储系统[D]. 单若琦.华南理工大学 2016
[10]大数据环境下时空多维数据可视化研究[D]. 王瑞松.浙江大学 2016
本文编号：3250502
【文章来源】：大连理工大学辽宁省 211工程院校 985工程院校 教育部直属院校
【文章页数】：72 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
引言
1 绪论
1.1 研究背景及问题提出
1.2 国内外研究现状
1.2.1 国外研究现状
1.2.2 国内研究现状
1.3 本文研究内容
1.4 论文结构与安排
2 传感器网络海量数据存储及计算的关键技术
2.1 时间序列数据定义
2.2 MapReduce论述
2.2.1 MapReduce简要分析
2.2.2 MapReduce计算框架
2.3 Hadoop和 HBase基本理论
2.3.1 Hadoop简要分析
2.3.2 HBase简要分析
2.4 时间序列数据存储分析
2.5 数据索引技术分析
2.5.1 全局分布式索引
2.5.2 分片位图索引
2.5.3 基于Hadoop框架索引技术
2.5.4 二级索引设计分析
2.5.5 检索数据相似性
2.5.6 数据的高维相似性检索
2.6 本章小结
3 基于Hadoop、HBase的大数据处理平台的实现
3.1 系统平台环境部署
3.1.1 Hadoop集群环境设计
3.1.2 安装配置环境
3.1.3 免密码的远程登录协议配置
3.1.4 配置防火墙
3.1.5 安装配置Java
3.2 安装配置Hadoop
3.3 安装配置HBase
3.4 Hadoop和 HBase安装总结
3.5 本章小结
4 系统设计与架构
4.1 提出问题及思路
4.2 系统总体设计
4.3 数据来源层
4.3.1 温度数据采集
4.4 数据管理层
4.4.1 HBase数据模型
4.4.2 基于HBase的时间序列存储
4.4.3 分布式存储模型
4.4.4 时间序列数据结构化存储设计
4.4.5 数据层的设计
4.5 数据显示层
4.6 本章小结
5 时间序列相关系数估算算法
5.1 相关系数算法及估算方法的概述
5.2 TSDC(Time Series Data Computation)算法
5.3 基于HBase平台进行上下界估算
5.4 时间序列相关系数近似值的计算方法
5.5 针对长序列的快速估算方法
5.6 算法复杂度分析
5.7 实验结果
5.7.1 数据集
5.7.2 实验环境
5.7.3 实验对比算法结果分析
5.8 本章小结
6 温度数据趋势查询和可视化
6.1 粒度的选择
6.2 查询流程
6.3 数据可视化
6.4 可视化结果
6.4.1 界面设计及效果
6.4.2 数据图表展示设计
6.4.3 系统平台展示
6.5 系统运行数据比对
6.6 本章小结
7 总结与展望
参考文献
致谢
【参考文献】：
期刊论文
[1]海量数据下基于Hadoop的分布式FP-Growth算法[J]. 朱颢东,薛校博,李红婵,孟颍辉. 轻工学报. 2018(05)
[2]基于分布式平台Spark的空间文本查询分析[J]. 徐阳,王志杰,钱诗友. 华东师范大学学报(自然科学版). 2018(05)
[3]城市燃气规划设计问题研究[J]. 邓苗苗. 化工管理. 2018(13)
[4]大数据相似性连接查询技术研究进展[J]. 马友忠,张智辉,林春杰. 计算机应用. 2018(04)
[5]多维时空数据协同可视分析方法[J]. 周志光,孙畅,乐丹丹,石晨,刘玉华. 计算机辅助设计与图形学学报. 2017(12)
[6]我国集中供热的现状与对策[J]. 石贺. 山西建筑. 2017(15)
[7]大数据处理对电子商务的影响与服务模式创新[J]. 赵明媚. 赤峰学院学报(自然科学版). 2016(21)
[8]基于MapReduce与项目分类的协同过滤算法[J]. 程曦,陈军. 计算机工程. 2016(07)
[9]云数据管理索引技术研究[J]. 马友忠,孟小峰. 软件学报. 2015(01)
[10]四元树算法在地理国情普查生产管理系统中的应用[J]. 李镇洲,张学之,赵铁锋. 测绘与空间地理信息. 2014(06)
硕士论文
[1]时变数据可视化系统的研究与实现[D]. 王子慧.北京邮电大学 2019
[2]基于Hadoop平台的个性化图书推荐系统的研究[D]. 张春.安徽工业大学 2017
[3]新华网数据新闻栏目研究[D]. 董晓宇.内蒙古大学 2017
[4]分布式存储系统中的高效数据获取技术[D]. 洪扬.上海交通大学 2017
[5]基于云计算的视频处理技术研究及其应用[D]. 孙富.南京邮电大学 2016
[6]自助银行信息管理系统的设计与实现[D]. 孙青.浙江工业大学 2016
[7]基于MapReduce的高校大数据分析挖掘[D]. 司雅楠.河南师范大学 2016
[8]新型互联网服务注册查询系统设计与优化[D]. 胡鸿.北京交通大学 2016
[9]一种基于OpenTSDB的海量实时数据存储系统[D]. 单若琦.华南理工大学 2016
[10]大数据环境下时空多维数据可视化研究[D]. 王瑞松.浙江大学 2016
本文编号：3250502
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3250502.html
