基于Hbase的风电机组运行数据的存储与检索策略研究

发布时间：2022-07-20 16:51

　　近年来随着风电技术的快速发展和普及,风电机组的装机容量迅速增长,风电机组在日常运行过程中沉积了大量生产、运维数据,有效利用这些数据对于提高风电机组的发电效率和运维水平有着至关重要的作用。因此,如何高效管理数据成为了风电机组运维中面临的问题。（1）本文针对传统关系型数据库海量数据查询任务超时、系统性能低、可扩展性差等问题,基于分布式数据库Hbase设计了风电机组运行数据的数据库,实现海量风电数据的快速存储。（2）针对因Hbase不支持非主键查询所导致的风电机组运行数据查询效率较低的情况,设计了一种基于热度与时间指数式衰减的热度排名策略和基于热度排名的二级索引机制。在此基础上提出了一种非主键索引的Hbase分布式集群优化方案,该方案根据指数式衰减的热度排名策略建立热数据索引,据此采用该策略存储数据热度排名TOP-K的二级索引以提高查询效率。实验结果表明将数据访问热度与时间建立指数式递减关系后,数据的热度排名更加有效,能够提高数据查询效率和访问命中率。（3）最后基于本文所提出的策略开发了风电机组运行数据存储与检索系统,通过比较二级索引机制查询响应时间表明该方案能够提高Hbase数据库的查询效... 

【文章页数】：67 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第1章 绪论
    1.1 课题背景及研究意义
    1.2 国内外发展现状
    1.3 本文主要研究内容
    1.4 论文架构
第2章 相关技术
    2.1 HBase技术基础
        2.1.1 Hadoop平台
        2.1.2 HDFS体系结构
        2.1.3 Hbase体系结构
    2.2 Hbase读写数据
        2.2.1 Hbase存储模型
        2.2.2 Hbase读数据
        2.2.3 Hbase写数据
    2.3 Hindex二级索引机制
        2.3.1 Hindex整体架构
        2.3.2 Hindex索引结构
    2.4 Hbase缓存调度研究
    2.5 本章小结
第3章 基于热度排名的二级索引机制
    3.1 Hindex查询机制分析
    3.2 问题分析
    3.3 改进的二级索引策略
        3.3.1 热度排名策略
        3.3.2 热度排名标记
        3.3.3 基于热度排名的索引结构
    3.4 实验设计与分析
        3.4.1 实验环境
        3.4.2 实验方案
        3.4.3 实验结果及分析
    3.5 本章小结
第4章 索引热度排名的缓存替换策略
    4.1 HBase缓存机制分析
    4.2 问题分析
    4.3 改进的索引热度排名的缓存替换策略
    4.4 实验设计与分析
        4.4.1 实验环境
        4.4.2 实验方案
        4.4.3 实验结果及分析
    4.5 本章小结
第5章 基于Hbase的风电大数据设备维护管理系统
    5.1 系统设计的目的及意义
    5.2 系统需求分析
    5.3 系统设计
        5.3.1 整体架构设计
        5.3.2 功能模块设计
        5.3.3 数据库设计
    5.4 系统实现
    5.5 本章小结
第6章 总结与展望
    6.1 总结
    6.2 展望
参考文献
攻读硕士学位期间发表的论文及所取得的研究成果
致谢


【参考文献】：
期刊论文
[1]在线考试系统的设计与实现[J]. 屈敬华,王晓孟.  计算机时代. 2019(01)
[2]大数据在风电生产管理中的应用研究[J]. 孙昊.  山东工业技术. 2018(11)
[3]基于HBase和Hive的航班延误平台的存储方法[J]. 吴仁彪,刘超,屈景怡.  计算机应用. 2018(05)
[4]基于大数据的风电生产运营监控系统设计与实现[J]. 尹诗,迟岩,王其乐,王寅生,何伟.  分布式能源. 2017(05)
[5]Key-Value型NoSQL本地存储系统研究[J]. 马文龙,朱妤晴,蒋德钧,熊劲,张立新,孟潇,包云岗.  计算机学报. 2018(08)
[6]HiBase:一种基于分层式索引的高效HBase查询技术与系统[J]. 葛微,罗圣美,周文辉,赵頔,唐云,周娟,曲文武,袁春风,黄宜华.  计算机学报. 2016(01)
[7]风电场输出功率异常数据识别与重构方法研究[J]. 朱倩雯,叶林,赵永宁,郎燕生,宋旭日.  电力系统保护与控制. 2015(03)
[8]Lucene的全文检索的研究与应用[J]. 李永春,丁华福.  计算机技术与发展. 2010(02)



本文编号：3664370