融合降维和负荷聚类的高效电力用户分类方法
发布时间：2021-01-12 16:03
随着智能电表的不断推广,电力行业积累的数据也逐渐呈海量趋势。电网业务的多元化,也促进了数据挖掘研究在电力行业的发展。电力用户分类是众多电力行业应用的基础,科学合理的电力用户分类有利于分时电价、负荷预测、移峰填谷等应用的进一步发展。传统的电力用户分类在用电习惯多元化的今天,已经显现出了一些弊端。应用海量负荷数据对电力用户进行分类,能够充分利用电力用户的用电特征,对用户进行更好合理的划分。根据对电力用户分类方法的总结,本文做了以下工作:1)分析了课题研究的背景与意义,分析了目前国内外对于电力用户分类方法的研究现状以及存在的一些问题。并在此基础上提出了改进的思路。2)介绍了本文中所涉及到的一些相关理论知识,分析对比了大数据平台Hadoop和Spark。梳理了 Spark MLlib中降维算法和聚类算法,并进行了分析对比。最终根据电力用户分类的具体需求,确定了主成分分析算法和k-means算法作为本文中实现电力用户分类的具体算法。3)充分利用Spark平台和Spark MLlib的优势,设计了一种融合降维和负荷聚类的高效电力用户分类方法。详细地介绍了本方法的实现流程与具体算法的原理及实现过程。...
【文章来源】：华北电力大学(北京)北京市 211工程院校 教育部直属院校
【文章页数】：49 页
【学位级别】：硕士
【部分图文】：
图２－１?Ｓｐａｒｋ?ＭＬｌｉｂ算法结构??Ｓｐａｒｋ?Ｒ实现了?Ｒ语言中Ｓｐａｒｋ的轻松使用，允许开发者利用Ｒ?ｓｈｅｌｌ来对大??规模数据集进行分析和交互式地允许任务
，；??（３）对每个ＲＤＤ进行聚类运算，完成了?Ｍａｐ操作后，对每个新生成的??ＲＤＤ进行规约操作。将聚类到同一个簇中的点放在一起，并且根据这些点重新??计算每个族的新的聚类中心；??（４）比较新的聚类中心点和前一个聚类中心点之间的距离，如果收敛到指??定阈值或者达到ｋ－ｍｅａｎｓ最大运行次数，则结束聚类操作；如果不满足则回到??第（２）步，继续后面的步骤。??（５）得到最后的聚类结果，将结果存到ＨＤＦＳ中。??Ｓｐａｒｋ中的ｋ－ｍｅａｎｓ算法实现过程如图３－２所示，其中中间部分白色有标数??字的点为样本数据点，深蓝色实心点为每个簇的中心点。首先Ｓｐａｒｋ从分布式??文件系统中读取耑要进行聚类的数据点，再利用ｋ－ｍｅａｎｓｌｌ算法确定初始聚类中??心。利用Ｍａｐ操作来对数据进行映射，将初始聚类中心和待聚类的数据点联系??起来。然后利用Ｒｅｄｕｃｅ操作对数据进行规约，并计算得到新的聚类中心。如果??聚类结果不符合要求，再重复按照Ｍａｐ和Ｒｅｄｕｃｅ操作的过程对聚类操作进行??迭代运算，直至聚类结果满足要求。对数据点进行ｋ－ｍｅａｎｓ聚类后的结果，将??被保存在分布式文件系统中。?????
Ｚｏｏｋｅｅｐｅｒ?３．４．６，Ｈｂａｓｅ?０．９８．６，Ｈｉｖｅ?２．１．１，Ｓｃａｌａ?２．１１．１］，?Ｓｐａｒｋ?１．６．３。Ｓｐａｒｋ?采??用ＹＡＲＮ模式进行部署。??实验平台架构图与运算组件如图４－１所示。??Ｉ?Ｅｘｅｃｕｔｏｒ?ｉ??１漏＿＿漏??ＳｐａｒｋＣｏｎｔｅｘｔ?＿?、：?’??＇＇?ｍｓｓＢｔｋｍ??一?．、，．ｄ?？■？＾；１十：、■＞?—?？’癸?Ｅｘｅｃｕｔｏｒ??图４－１实验平台架构图及运算组件??先将负荷数据存储在ＨＤＦＳ中，然后通过运行驱动程序来创建ＳｐａｒｋＣｏｎｔｅｘｔ，??准备Ｓｐａｒｋ的运行环境。ＳｐａｒｋＣｏｎｔｅｘｔ与集群管理模块直接进行通信，再通过集??群管理模块将任务发送给各个从节点，再由Ｅｘｅｃｕｔｏｒ来执行，各个节点之间的??任务独立。在执行的过程中，Ｅｘｅｃｕｔｏｒ将中间结果暂存在内存中。当任务执行完??之后，再将运算结果返回，并根据需要决定是否将其存储到ＨＤＦＳ中。当所有操??作完成后，驱动程序将ＳｐａｒｋＣｏｎｔｅｘｔ关闭。
【参考文献】：
期刊论文
[1]一种结合降维技术的负荷曲线双层聚类算法[J]. 宁光涛,陈明帆,林强,周航,黄亮,高玉洁. 自动化与仪器仪表. 2018(05)
[2]基于Spark平台和并行随机森林回归算法的短期电力负荷预测[J]. 刘琪琛,雷景生,郝珈玮,黄燕刚,李强,罗海波. 电力建设. 2017(10)
[3]面向售电侧改革的用户分层聚类与套餐推荐方法[J]. 孙毅,顾玮,李彬,崔灿,孙辰军,郑爱霞. 电网技术. 2018(02)
[4]基于Spark的电力调度数据整合模型[J]. 曲朝阳,陈贺新,胡可为,刘耀伟,独健鸿. 计算机工程与应用. 2017(19)
[5]基于Spark的电力设备在线监测数据可视化方法[J]. 曲朝阳,熊泽宇,颜佳,辛鹏,曲楠. 电工电能新技术. 2016(11)
[6]大数据平台在电力系统中的应用研究[J]. 曹皖诚,汤少卿,尤鋆. 江苏科技信息. 2016(29)
[7]基于聚类分析的用户分类和用电行为分析[J]. 徐良军,张笑第,王立军. 山西电力. 2016(04)
[8]基于云模型和模糊聚类的电力负荷模式提取方法[J]. 宋易阳,李存斌,祁之强. 电网技术. 2014(12)
[9]基于实际负荷曲线的电力用户分类技术研究[J]. 冯晓蒲,张铁峰. 电力科学与工程. 2010(09)
[10]基于用户日负荷曲线的用电行业分类与综合方法[J]. 李欣然,姜学皎,钱军,陈辉华,宋军英,黄良刚. 电力系统自动化. 2010(10)
硕士论文
[1]基于改进k均值聚类算法的电力负荷模式识别方法研究[D]. 胡阳春.电子科技大学 2018
[2]基于数据挖掘的电力负荷特性与用户分类研究[D]. 李晶.北京邮电大学 2016
[3]基于Hadoop平台的电力大客户用电时序数据分类研究[D]. 蒋佳军.华南理工大学 2015
[4]大用户直购电环境下的用户分类与电力网络成本分摊[D]. 周盈.浙江大学 2015
[5]基于模糊c均值聚类的分类分时电价研究[D]. 罗伶.山东大学 2013
本文编号：2973090
【文章来源】：华北电力大学(北京)北京市 211工程院校 教育部直属院校
【文章页数】：49 页
【学位级别】：硕士
【部分图文】：
图２－１?Ｓｐａｒｋ?ＭＬｌｉｂ算法结构??Ｓｐａｒｋ?Ｒ实现了?Ｒ语言中Ｓｐａｒｋ的轻松使用，允许开发者利用Ｒ?ｓｈｅｌｌ来对大??规模数据集进行分析和交互式地允许任务
，；??（３）对每个ＲＤＤ进行聚类运算，完成了?Ｍａｐ操作后，对每个新生成的??ＲＤＤ进行规约操作。将聚类到同一个簇中的点放在一起，并且根据这些点重新??计算每个族的新的聚类中心；??（４）比较新的聚类中心点和前一个聚类中心点之间的距离，如果收敛到指??定阈值或者达到ｋ－ｍｅａｎｓ最大运行次数，则结束聚类操作；如果不满足则回到??第（２）步，继续后面的步骤。??（５）得到最后的聚类结果，将结果存到ＨＤＦＳ中。??Ｓｐａｒｋ中的ｋ－ｍｅａｎｓ算法实现过程如图３－２所示，其中中间部分白色有标数??字的点为样本数据点，深蓝色实心点为每个簇的中心点。首先Ｓｐａｒｋ从分布式??文件系统中读取耑要进行聚类的数据点，再利用ｋ－ｍｅａｎｓｌｌ算法确定初始聚类中??心。利用Ｍａｐ操作来对数据进行映射，将初始聚类中心和待聚类的数据点联系??起来。然后利用Ｒｅｄｕｃｅ操作对数据进行规约，并计算得到新的聚类中心。如果??聚类结果不符合要求，再重复按照Ｍａｐ和Ｒｅｄｕｃｅ操作的过程对聚类操作进行??迭代运算，直至聚类结果满足要求。对数据点进行ｋ－ｍｅａｎｓ聚类后的结果，将??被保存在分布式文件系统中。?????
Ｚｏｏｋｅｅｐｅｒ?３．４．６，Ｈｂａｓｅ?０．９８．６，Ｈｉｖｅ?２．１．１，Ｓｃａｌａ?２．１１．１］，?Ｓｐａｒｋ?１．６．３。Ｓｐａｒｋ?采??用ＹＡＲＮ模式进行部署。??实验平台架构图与运算组件如图４－１所示。??Ｉ?Ｅｘｅｃｕｔｏｒ?ｉ??１漏＿＿漏??ＳｐａｒｋＣｏｎｔｅｘｔ?＿?、：?’??＇＇?ｍｓｓＢｔｋｍ??一?．、，．ｄ?？■？＾；１十：、■＞?—?？’癸?Ｅｘｅｃｕｔｏｒ??图４－１实验平台架构图及运算组件??先将负荷数据存储在ＨＤＦＳ中，然后通过运行驱动程序来创建ＳｐａｒｋＣｏｎｔｅｘｔ，??准备Ｓｐａｒｋ的运行环境。ＳｐａｒｋＣｏｎｔｅｘｔ与集群管理模块直接进行通信，再通过集??群管理模块将任务发送给各个从节点，再由Ｅｘｅｃｕｔｏｒ来执行，各个节点之间的??任务独立。在执行的过程中，Ｅｘｅｃｕｔｏｒ将中间结果暂存在内存中。当任务执行完??之后，再将运算结果返回，并根据需要决定是否将其存储到ＨＤＦＳ中。当所有操??作完成后，驱动程序将ＳｐａｒｋＣｏｎｔｅｘｔ关闭。
【参考文献】：
期刊论文
[1]一种结合降维技术的负荷曲线双层聚类算法[J]. 宁光涛,陈明帆,林强,周航,黄亮,高玉洁. 自动化与仪器仪表. 2018(05)
[2]基于Spark平台和并行随机森林回归算法的短期电力负荷预测[J]. 刘琪琛,雷景生,郝珈玮,黄燕刚,李强,罗海波. 电力建设. 2017(10)
[3]面向售电侧改革的用户分层聚类与套餐推荐方法[J]. 孙毅,顾玮,李彬,崔灿,孙辰军,郑爱霞. 电网技术. 2018(02)
[4]基于Spark的电力调度数据整合模型[J]. 曲朝阳,陈贺新,胡可为,刘耀伟,独健鸿. 计算机工程与应用. 2017(19)
[5]基于Spark的电力设备在线监测数据可视化方法[J]. 曲朝阳,熊泽宇,颜佳,辛鹏,曲楠. 电工电能新技术. 2016(11)
[6]大数据平台在电力系统中的应用研究[J]. 曹皖诚,汤少卿,尤鋆. 江苏科技信息. 2016(29)
[7]基于聚类分析的用户分类和用电行为分析[J]. 徐良军,张笑第,王立军. 山西电力. 2016(04)
[8]基于云模型和模糊聚类的电力负荷模式提取方法[J]. 宋易阳,李存斌,祁之强. 电网技术. 2014(12)
[9]基于实际负荷曲线的电力用户分类技术研究[J]. 冯晓蒲,张铁峰. 电力科学与工程. 2010(09)
[10]基于用户日负荷曲线的用电行业分类与综合方法[J]. 李欣然,姜学皎,钱军,陈辉华,宋军英,黄良刚. 电力系统自动化. 2010(10)
硕士论文
[1]基于改进k均值聚类算法的电力负荷模式识别方法研究[D]. 胡阳春.电子科技大学 2018
[2]基于数据挖掘的电力负荷特性与用户分类研究[D]. 李晶.北京邮电大学 2016
[3]基于Hadoop平台的电力大客户用电时序数据分类研究[D]. 蒋佳军.华南理工大学 2015
[4]大用户直购电环境下的用户分类与电力网络成本分摊[D]. 周盈.浙江大学 2015
[5]基于模糊c均值聚类的分类分时电价研究[D]. 罗伶.山东大学 2013
本文编号：2973090
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/2973090.html
