多维时序数据的交互式聚合查询方法研究

发布时间：2021-05-08 11:31

　　当前,随着物联网的不断发展,多维时序数据不断产生,为了提高查询效率,优化用户查询体验,实现交互式聚合查询成为目前亟待解决的需求。传统的多维时序数据聚合查询工作需要等待查询任务执行,获取聚合查询结果时存在延迟性,为解决此问题,本文提出了多维时序数据的交互式聚合查询方法。主要研究内容如下:1、针对海量多维时序数据聚合查询结果存在滞后性问题,以实现交互式聚合查询为目标,提出多维时序数据的交互式聚合查询方法。该方法兼顾存储结构及查询计算优化,设计了合理的存储结构与索引结构,达到交互式聚合查询效果。2、针对时序数据的高维度特点导致的多维时序数据聚合查询磁盘IO开销大的问题,提出了基于位图索引的查询优化方法。详细介绍了该索引优化方法中索引构建与压缩等技术,并设计了基于位图索引的查询。实验表明通过位图索引技术提高了多维时序数据聚合查询的速度。3、针对内存计算快但容量有限的问题,提出了基于内存调优的查询加速方法,包括最优预聚合任务选择算法和优化的内存替换策。最优预聚合任务选择算法选择尽量多的预聚合任务放置于内存中,内存替换策略将热数据替换入内存,阻止预测为冷数据的数据其进入内存,提高内存命中率。实验表... 

【文章来源】：北方工业大学北京市

【文章页数】：73 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 研究背景
    1.2 研究问题
    1.3 研究内容
    1.4 研究现状
        1.4.1 聚合查询
        1.4.2 时序数据库
        1.4.3 内存替换策略
    1.5 文章结构
第二章 相关技术
    2.1 时序数据存储技术
        2.1.1 TSM TREE数据存储结构
        2.1.2 HBase面向列的分布式数据库
        2.1.3 HADOOP分布式文件系统
    2.2 交互式聚合查询技术
        2.2.1 DRUID时序数据库
        2.2.2 Bitmap索引
        2.2.3 内存存储结构
        2.2.4 常见内存替换策略
    2.3 本章总结
第三章 多维时序数据的交互式聚合查询方法
    3.1 交互式聚合查询思想
    3.2 系统模型架构设计
    3.3 交互式聚合查询方法
        3.3.1 基于TSM-TREE与 Bitmap索引聚合查询方法
        3.3.2 基于内存存储结构与LAMBDA架构的交互式聚合查询方法
    3.4 本章总结
第四章 基于位图索引的查询优化方法
    4.1 问题分析
    4.2 位图索引设计
        4.2.1 位图索引的写入与构建
        4.2.2 位图索引的压缩
        4.2.3 基于位图索引的查询
    4.3 实验与分析
        4.3.1 实验过程和结论
        4.3.2 实验结果分析
        4.3.3 空间复杂度分析
    4.4 本章总结
第五章 基于内存调优的查询加速方法
    5.1 问题分析
    5.2 数据预聚合
        5.2.1 最优预聚合任务选择算法
        5.2.2 实验过程和结论
        5.2.3 实验结果分析
    5.3 内存替换
        5.3.1 LRFU-AR内存替换策略
        5.3.2 实验过程和结论
        5.3.3 实验结果分析
    5.4 本章总结
第六章 系统实现
    6.1 系统架构设计
    6.2 系统模块设计
        6.2.1 系统总体查询模块
        6.2.2 系统实时聚合查询模块
        6.2.3 系统历史聚合查询模块
    6.3 系统效果展示
    6.4 本章总结
第七章 结论与展望
    7.1 主要结论
    7.2 研究展望
参考文献
在学期间的研究成果
致谢


【参考文献】：
期刊论文
[1]用于智能电表数据分析的大数据平台[J]. 叶海峰,陈存林,张炜,刘路登,朱刚刚.  信息技术. 2020(01)
[2]HOS:一种基于HBase的分布式存储系统设计与实现[J]. 季一木,张宁,尧海昌,李奎,李航,刘尚东,王汝传.  南京邮电大学学报(自然科学版). 2019(05)
[3]基于influxDB的工业时序数据库引擎设计[J]. 徐化岩,初彦龙.  计算机应用与软件. 2019(09)
[4]An improved HASM method for dealing with large spatial data sets[J]. Na ZHAO,Tianxiang YUE,Chuanfa CHEN,Miaomiao ZHAO,Zhengping DU.  Science China（Earth Sciences）. 2018(08)
[5]基于Hadoop平台的数据迁移方法研究实现[J]. 王铭,田茂,赵鑫,金山城.  计算机测量与控制. 2018(04)
[6]边缘计算参考架构2.0（中）[J].   自动化博览. 2018(02)
[7]结合HBase的散列概要森林索引方案[J]. 冯诗淳,曹斌,晁德文,林博,尹建伟.  小型微型计算机系统. 2018(01)
[8]基于Hadoop生态环境的大数据平台在电网公司海量数据准实时处理中的应用[J]. 苑立民,郝成亮,刘昶,徐峰,潘建宏,张凯.  大众用电. 2017(S1)
[9]大数据热点技术综述[J]. 陈军成,丁治明,高需.  北京工业大学学报. 2017(03)
[10]基于分布式文件电力异构数据存储综述[J]. 张琦,陈艳,张春平,刘铭.  计算机系统应用. 2017(02)

硕士论文
[1]基于压缩位图索引的RDF数据存储与管理[D]. 姜伟.北京交通大学 2017
[2]面向实时交通流数据的HBase辅助索引技术研究和实现[D]. 李冬.北方工业大学 2017
[3]LRFU及其自适应算法的研究[D]. 还璋武.安徽工业大学 2016
[4]基于HBase的交通流数据实时存储系统的设计与实现[D]. 陆婷.北方工业大学 2016
[5]多维数据可视化方法研究[D]. 张鲁营.北京交通大学 2016
[6]时间序列数据相似性与聚合top-k查询算法研究与应用[D]. 钟丽娟.浙江大学 2016
[7]基于数据库的Summary查询研究[D]. 王丹.东北大学 2013
[8]基于聚合函数的物化视图关键技术的研究[D]. 张茜.南京理工大学 2010
[9]查询优化技术研究及在油井施工设计中的应用[D]. 左杰.大连理工大学 2008



本文编号：3175263