基于Hadoop平台的电力负荷数据分类算法的研究

发布时间：2020-04-07 10:41

【摘要】：随着智能化时代的到来,各行业的数据量呈快速增长趋势。同时,电网的建设规模在逐渐扩大,建设速度在不断加快,涉及的领域也越来越多,使得电力数据的数量越来越大。如何能够快速处理大规模电力数据的问题也就应运而生。同时,我国电力部门也开始重视电力用户侧,通过对用户电力负荷数据的分类来分析电力用户行为,所以如何对电力负荷数据分类成为了一大热点。本文针对这两大问题,对电力负荷数据分类和数据处理效率展开了研究。首先本文研究了数据分类问题,对电力数据分类需要寻找合适的算法,适用分类的算法主要有聚类算法和分类算法。本文列举出常用的聚类算法和分类算法,通过对各个算法特点和功能的分析,利用电力负荷数据进行了各算法的仿真实验,由实验结果并结合电力负荷数据的特点,选取了 K-means聚类算法对电力负荷数据进行归类。接着,本文对K-means聚类算法进行了分析,发现该算法在K值的选取上存在不确定性,无法确定合适的K值。同时数据与数据之间的空间距离计算方式不严谨,很难体现出数据与聚类中点的联系。基于上述两个问题,提出了将计算阈值应用于电力数据的方法,然后对数据与聚类中心的距离阈闽值进行比较来判断K值是否合适。并通过分析用户行为指标来对空间距离公式附加权重值,以展现数据点与数据中心的影响力。通过以上分析和优化,得到了一种基于电力负荷数据的K-means改进算法。最后本文对电力数据处理效率问题进行了分析,发现电力部门使用的集中式处理方式己无法满足当前的需求。现利用Hadoop平台并行集群的方式对大规模电力数据进行处理,同时搭建多个节点来进一步体现集群的优势。然后将改进后的算法基于MapReduce编程框架进行优化,使其与Hadoop平台更好的结合。实验结果表明,本文提出的优化算法能够对电力负荷数据进行有效的分类,且每类数据都具有代表性,能够体现本类用户的用电特点。同时在Hadoop平台并行集群上的数据处理效率远高于集中式处理模式。最后利用电力负荷分类结果可以有效的分析用户用电行为,为电力部门提供决策上的建议。
【图文】：

图 5.2 集群节点及对应 IP(2)配置 SSH。为了保证在远程管理 Hadoop 节点以及 Hadoop 节点间用户共享访问时的安全oop 系统需要配置和使用 SSH（安全外壳协议）。在单机模式下无需任何守护进不需要进行 SSH 设置，但是在单机伪分布模式和集群分布模式下需要进行 SSHadoop 需要通过 SSH 来启动 Slave 列表中各台主机的守护进程。但是由于 SS户密码登录，因此为了在系统运行中完成节点的免密码登录和访问，需要将成免密码登录方式。配置SSH的主要工作是创建一个认证文件，使得用户以public key方式登录，工输入密码。基本配置步骤如下：第一步，生成秘钥对，执行一下命令：$ ssh - keygen -t rsa第二步，接着按住<Enter>键不放，就会默认的选项将生成的秘钥对sh/id_rsa 文件中，如图 5.3 所示。

图 5.3 秘钥配置图第三步，进入.ssh 目录，执行以下命令：$ cp id_rsa.pub authorized_keys执行以下命令：$ ssh localhost测试配置能否登录，，且 SSH 免秘钥能否正常使用。(3)Hadoop 平台配置。切换到 Hadoop 的安装路径找到 Hadoop-1.2.1 下的 conf/ Hadoop-env.sh 文件夹 编辑器打开，加入如下语句：$ export JAVA_HOME = /usr /java /jdk1.6.0Hadoop 的配置文件主要存放在 Hadoop 安装目录的 conf 目录中，需要更改的：conf/ Hadoop- env.sh : Hadoop 环境变量的设置。conf/ core- site.xml : 主要完成 NameNode 的 IP 和端口设置。
【学位授予单位】：西安科技大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP311.13;TM714

【参考文献】

相关期刊论文 前7条

1 侯丹;李刚;赵文清;杨璐;;大数据分析及可视化技术在电网公司的应用[J];智能电网;2015年12期

2 周国军;程裕强;吴庆军;;基于Hadoop的并行朴素贝叶斯分类算法[J];玉林师范学院学报;2015年05期

3 王德文;孙志伟;;电力用户侧大数据分析与并行负荷预测[J];中国电机工程学报;2015年03期

4 张素香;赵丙镇;王风雨;张东;;海量数据下的电力负荷短期预测[J];中国电机工程学报;2015年01期

5 王睿;;基于MapReduce的并行KNN分类算法研究[J];计算机与数字工程;2013年11期

6 张雪萍;龚康莉;赵广才;;基于MapReduce的K-Medoids并行算法[J];计算机应用;2013年04期

7 党倩;崔亮;张华峰;;基于MapReduce模型的智能电网数据平台研究[J];电力信息化;2012年05期

相关硕士学位论文 前10条

1 寇磊;基于SOM算法改进的K-medoids算法及其研究[D];太原理工大学;2017年

2 李正杰;基于Hadoop平台的数据挖掘分类算法分析与研究[D];南京邮电大学;2016年

3 杨佳驹;基于MapReduce和深度学习的负荷分析与预测[D];东南大学;2016年

4 陈琦;基于Hadoop的电力大数据特征分析研究[D];华北电力大学(北京);2016年

5 孙兵率;基于MapReduce的数据挖掘算法并行化研究与应用[D];西安工程大学;2015年

6 肖琪;基于优化K-means算法的电力负荷分类研究[D];大连理工大学;2015年

7 郑牡丹;基于云计算的充电站充电负荷预测体系结构研究[D];华北电力大学;2015年

8 李海龙;电力云数据分析平台数据挖掘算法的研究与应用[D];华北电力大学;2014年

9 赵硕;云计算和机器学习算法在电力负荷预测中的研究与应用[D];华北电力大学;2014年

10 程艳柳;基于云计算的智能电网数据挖掘的研究[D];华北电力大学;2013年

本文编号：2617805