基于MapReduce的关联规则技术在电力营销大数据中的应用

发布时间：2021-11-18 10:13

　　随着智能电网建设的不断深入和推进,积累的电力营销数据呈指数级增长,如何从这些历史数据中挖掘出"宝藏",已经成为坚强智能电网建设的迫切需求。基于MapReduce平台将关联规则挖掘技术运用于电力营销大数据的分析之中,首先采用并行K-means聚类算法将数据离散化处理,再运用并行FP-growth算法挖掘关联关系。按照行业和月份对用电市场进行细分,挖掘各个行业内用户的分类属性（用户属性、市场属性等）与决策属性（分时用电量）之间的强关联规则,并对当前电力市场的特征做出科学的描述,从而降低营销成本,提高营销效率。 

【文章来源】：山西电力. 2020,(01)

【文章页数】：5 页

【部分图文】：

第二阶段的MapReduce并化过程

将原始的数据库划分为几个互相独立的分区，并且数据库分区是完备的。将这几个分区分别存放在不同的机器上，对不同数据分区并行进行FP-growth挖掘，最后将不同机器上的结果结合起来得到最终的结果[8-9]。过程如图2所示。a）数据库分区。把数据库分成连续的不同的分区，每一个分区分布在不同的机器上。Hadoop框架会自动完成数据库分区，所划分的数据库分区会拷贝到HDFS上。

关联规则分析是一种对选定数据集进行特征描述的挖掘算法，它搜集系统中的所有事务，从中找出所有组与组之间的数据项相联系的规则，此规则并非确定的，而是具有置信度的可能值。现在，关联规则只能处理离散型的数据集，而电力营销数据中的分时电量和电费等数据都是连续的，必须先采用K-Means聚类算法对数据进行预处理，减少属性值，提高属性内涵，这是进行关联规则挖掘的必要前提。由于本文研究的是分时用电量，若是以总电量来评价用电水平是不合理的，峰电量、平电量和谷电量三者综合起来才能评价用户的用电水平。因此，需要以峰、平、谷3个时段作为3个维度对分时电量进行聚类得到不同等级的电量水平，对电费进行一维聚类得到不同等级的经济水平。

【参考文献】：
期刊论文
[1]基于Hadoop的并行FP-Growth算法的研究与实现[J]. 施亮,钱雪忠.  微电子学与计算机. 2015(04)
[2]大数据挖掘分析在电力设备状态评估中的应用[J]. 宫宇,吕金壮.  南方电网技术. 2014(06)
[3]基于MapReduce模型的间歇性能源海量数据处理技术[J]. 梅华威,米增强,吴广磊.  电力系统自动化. 2014(15)
[4]一种基于MapReduce的并行FP-growth算法[J]. 杨勇,王伟.  重庆邮电大学学报(自然科学版). 2013(05)
[5]一种基于FP-Growth的频繁项目集并行挖掘算法[J]. 章志刚,吉根林.  计算机工程与应用. 2014(02)
[6]网络大数据:现状与展望[J]. 王元卓,靳小龙,程学旗.  计算机学报. 2013(06)
[7]基于云计算平台Hadoop的并行k-means聚类算法设计研究[J]. 赵卫中,马慧芳,傅燕翔,史忠植.  计算机科学. 2011(10)

硕士论文
[1]智能电网中数据处理技术的应用研究[D]. 何壮壮.华北电力大学 2016
[2]海量数据并行挖掘技术研究[D]. 孙芬芬.北京交通大学 2014



本文编号：3502715