电力系统大数据属性约简研究

发布时间：2017-11-26 10:22

  本文关键词：电力系统大数据属性约简研究

  更多相关文章： 电力系统 智能电网 大数据 MapReduce 偏序约简

【摘要】：伴随着工业及社会信息化程度的增强,各个领域的自动化程度越来越高,大规模及超大规模海量数据应运而生,呈现出大数据特征。这些海量数据在提升行业发展动力的同时,也带来了巨大的挑战性问题—数据可用性。为了从海量数据中甄别无用信息、挖掘出有益于相关领域发展的有价值信息,就需要对其进行数据分析。数据预处理技术可以极大地减少分析数据时的数据处理量,提高数据分析处理的效率,而属性约简在数据预处理中是一个比较重要的环节。又因为电力系统的运行与监测环节所产生的数据类型多、数量大,呈现出大数据的特征,故需要对这类数据进行有效地属性约简才能适当使用。现有的基于现代启发式优化技术如遗传算法的约简方法存在覆盖面较窄、算法复杂度高等缺点,无法有效应用于电力大数据处理领域。本文分析非并行化属性约简算法、并行化属性约简算法的国内外研究现状,首先对现有的并行化属性约简算法进行了性能分析,其存在算法复杂度偏高,约简信息易丢失等问题,而传统的非并行化属性约简算法又同时存在内存瓶颈难题,无法约简海量数据。然后结合电力系统大数据的特征,着眼于并发事件间的独立性,综合利用MapReduce的可并行化优点及偏序算法的可并行性,给出了电力大数据偏序约简的形式化描述。最后给出了电力系统属性偏序约简的算法设计,并根据电力数据集中决策属性不同取值个数多少的实际情况分别给出了两种约简方案,方案1,如果决策属性的取值种类较多,则可以选择算法1和算法2;方案2,如果决策属性的取值种类较少,则可以选择算法1和算法3;但是,为了提高数据预处理的效率,在决策属性值种类较多的情况下,也可以选择算法1和算法3。本文分别以某光伏发电系统监测数据、变压器故障诊断数据和智能变电站通信系统实时性与可靠性预测数据为例,对属性约简进行模拟计算,并通过Hadoop平台进行测试,表明所提出的电力大数据属性约简方法性能优良。验证了本文提出的偏序约简算法不但解决了启发式属性约简算法所引起的决策表信息丢失问题,还略过了启发式属性约简算法的求核过程,具有性能上的优越性。
【学位授予单位】：华北电力大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TM76;TP311.13

【参考文献】

中国期刊全文数据库 前10条

1 严英杰;盛戈v，

本文编号：1229498