电力大数据检索方法研究

发布时间：2017-04-08 08:18

  本文关键词：电力大数据检索方法研究，由笔耕文化传播整理发布。

【摘要】：在电力系统中,随着电力行业数字化、信息化的发展,电网数据来源多元化、复杂化,各种智能电表、传感器、信息系统等分布式数据源在发电、输电、配电、用电及调度、营销等多个环节持续不断地产生大量数据,促使电力数据呈几何级数增长。这些数据是建设稳定、可靠、高效智能电网的支撑性元素之一,它在揭示电力行业内部某些特有的规律的同时,反映着社会的经济发展状况,还对企业的长远发展有至关重要的作用,是未来电力发展的重要参考依据。本文主要对怎样利用数据分析技术在海量的电力数据中快速检索到有价值的信息进行了研究和探索。首先,分析了电力大数据检索的研究背景及意义,研究了当前国内外对电力大数据以及其检索方法的研究现状,并归纳总结了电力系统中大数据的来源、数据特点以及关键技术以及大数据检索方法和相关技术。其次,提出一种基于流形排序的电网截面数据检索方法。针对电网数据数量大、维度高的特点,考虑到在数据检索时多维度查询效率不高,检索结果无法多维度整体匹配的问题。本文提出的基于流形排序的检索方法,将电网截面数据描述成多维向量空间中的对应点,通过电力数据集的近似流形结构,使之与源查询之间具有较高的相关性,有效避免相关性度量对高维数据查询处理的不足。最后,构建一种适合电力数据特点的双层混合索引结构。考虑到电力数据中数据类型复杂多样,字符型和数值型属性并存,构建基于B+树以及倒排索引的双层混合索引,来完成对电力数据的检索需求。为适合大规模数据的处理需求,在上述提出的索引结构基础上实现索引的并行化,通过Hadoop平台在各个分节点计算机上构建本地索引,然后在主机节点端构建主索引,通过主索引定位本地索引,有利于减少数据的查询时间,加快查询速度。
【关键词】：大数据 电力大数据 数据检索 流形排序 索引
【学位授予单位】：东北电力大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TM769;TP311.13
【目录】：

• 摘要6-7
• Abstract7-10
• 第1章 绪论10-14
• 1.1 课题研究背景及意义10-11
• 1.2 国内外的研究发展现状11-12
• 1.2.1 电力大数据的研究现状11
• 1.2.2 大数据检索方法现状11-12
• 1.3 本文主要研究内容12-13
• 1.4 全文工作安排13-14
• 第2章 电力大数据特征及其检索方法14-24
• 2.1 大数据定义14
• 2.2 电力大数据特点及其关键技术14-18
• 2.2.1 电力大数据的来源及分类14-16
• 2.2.2 电力大数据特征16-17
• 2.2.3 电力大数据的关键技术17-18
• 2.3 数据检索方法18-20
• 2.3.1 关键字检索19
• 2.3.2 语义检索19-20
• 2.3.3 分布式信息检索20
• 2.4 检索的相关技术20-23
• 2.4.1 索引技术20-22
• 2.4.2 B+树技术22-23
• 2.5 本章小结23-24
• 第3章 电力大数据索引的设计与实现24-35
• 3.1 基于B+树的混合索引24-27
• 3.1.1 索引构建思想24-25
• 3.1.2 混合索引结构设计25-26
• 3.1.3 索引的创建过程26
• 3.1.4 索引查询算法26-27
• 3.2 混合索引的有效性验证27-28
• 3.2.1 时间性能分析与比较27
• 3.2.2 查询效率分析与比较27-28
• 3.3 索引的并行化实现28-33
• 3.3.1 MapReduce编程模型29-30
• 3.3.2 分布式索引架构30
• 3.3.3 分布式索引算法30-32
• 3.3.4 实验验证32-33
• 3.4 本章小结33-35
• 第4章 基于流形排序的电力数据检索方法35-44
• 4.1 流形排序的基本原理35-36
• 4.2 基于流行排序的数据检索算法36-40
• 4.2.1 问题的定义36-37
• 4.2.2 加权图模型的构建37-39
• 4.2.3 算法流程描述及分析39-40
• 4.3 实验验证与结果分析40-43
• 4.3.1 实验数据和评价标准40-41
• 4.3.2 实验结果分析41-43
• 4.4 本章小结43-44
• 结论44-46
• 参考文献46-50
• 攻读学位期间发表的学术论文50-51
• 致谢51

【参考文献】

中国期刊全文数据库 前10条

1 张东霞;苗新;刘丽平;张焰;刘科研;;智能电网大数据技术发展研究[J];中国电机工程学报;2015年01期

2 黄斌;彭宇行;彭小宁;;云计算环境中高效分布式索引技术[J];武汉大学学报(信息科学版);2014年11期

3 黄斌;彭宇行;彭小宁;;云计算中海量数据高效索引方法[J];计算机应用研究;2014年10期

4 张文q，

本文编号：292454