云技术在电力系统不良数据处理中的研究与应用

发布时间：2017-09-29 07:26

  本文关键词：云技术在电力系统不良数据处理中的研究与应用

  更多相关文章： 云计算 不良数据 数据挖掘 Hadoop Storm

【摘要】：大数据时代,电网运行产生的数据呈爆炸式增长,传统的计算与存储模式已逐渐无法适应电力系统的需求。云计算技术作为一种具有超大规模、高可用性和高伸缩性等特性的海量数据处理新技术能够用于解决该问题,并为新一代电力信息平台的建设提供解决方案。本文着重针对云技术在电力系统不良数据辨识与修正领域的应用展开了研究。论文阐述了云技术与电力系统不良数据处理的国内外研究现状,研究了批处理云计算框架Hadoop与实时云计算框架Storm的核心技术与实现机理,在此基础上,从数据挖掘技术与拓扑理论两个方面设计了多种云计算下的不良数据处理算法。数据挖掘技术方面,提出了一种Hadoop下的分布式系统聚类算法用于数据预处理。通过将不良数据辨识问题转化为二类分类问题,提出了一种基于支持向量机并采用滑动窗口机制的分布式不良数据处理算法,算法分为离线与在线两个模式,离线模式采用Hadoop进行分布式处理,首先对样本数据进行聚类,对每个保留的类簇按时段划分并分别训练SVM模型；在线模式通过设置滑动窗口接收待辨识数据,采用对应的SVM模型辨识坏数据并采用线性插值法对其进行修正。拓扑理论方面,提出了一种Storm下的针对全网有功功率的分布式不良数据处理算法。算法通过电路约束条件进行数据处理,在子网边界处引入冗余信息使得Storm能够对每个子网进行分布式计算,最后在母网层面整合计算从而实现全网数据辨识与修正。同时,提出了一种Storm下的分布式状态估计算法。算法通过在联络线处引入虚拟节点并从虚拟节点处进行子网分裂进而针对子网进行分布式状态估计计算与不良数据处理,其中坏数据处理部分简化了残差搜索辨识法的实现流程。论文针对提出的每种算法进行了仿真测试,结果表明它们具备较好的不良数据处理能力和实时性,具有一定的应用前景。
【关键词】：云计算 不良数据 数据挖掘 Hadoop Storm
【学位授予单位】：东南大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP311.13;TM732
【目录】：

• 摘要4-5
• ABSTRACT5-8
• 第一章 绪论8-14
• 1.1 课题研究背景及意义8-9
• 1.1.1 课题研究背景8
• 1.1.2 课题研究意义8-9
• 1.2 国内外研究现状9-11
• 1.2.1 云技术研究现状9-10
• 1.2.2 电力系统不良数据处理算法研究现状10-11
• 1.3 论文主要研究内容11-14
• 第二章 云技术及其框架14-22
• 2.1 概述14-15
• 2.2 批处理云计算框架Hadoop15-19
• 2.2.1 Hadoop简介15
• 2.2.2 分布式文件系统HDFS15-17
• 2.2.3 MapReduce编程模型17-19
• 2.3 实时云计算框架Storm19-21
• 2.3.1 Storm简介19
• 2.3.2 Storm实现原理19-21
• 2.4 本章小结21-22
• 第三章 基于数据挖掘技术的不良数据处理算法22-44
• 3.1 引言22-23
• 3.2 分布式系统聚类算法及其实现23-28
• 3.2.1 系统聚类算法23-24
• 3.2.2 Hadoop下的分布式系统聚类算法24-28
• 3.3 支持向量机(SVM)28-33
• 3.3.1 线性分类28-30
• 3.3.2 非线性分类30-32
• 3.3.3 松弛变量32-33
• 3.4 分布式不良数据辨识与修正算法及其实现33-37
• 3.4.1 离线模式34-36
• 3.4.2 在线模式36-37
• 3.5 算例分析37-42
• 3.6 本章小结42-44
• 第四章 基于拓扑理论的不良数据处理算法44-68
• 4.1 引言44-46
• 4.2 分布式有功数据辨识与修正算法46-55
• 4.2.1 辨识与修正规则46-48
• 4.2.2 Storm下的算法实现48-50
• 4.2.3 算例分析50-55
• 4.3 分布式状态估计算法55-66
• 4.3.1 算法设计及其在Storm下的实现55-61
• 4.3.2 可观测性分析61
• 4.3.3 算例分析61-66
• 4.4 本章小结66-68
• 第五章 结论与展望68-70
• 致谢70-72
• 参考文献72-76
• 附录A Hadoop下的系统聚类算法核心代码76-80
• 附录B Storm下的有功数据辨识与修正算法核心代码80-100
• 附录C Storm下的分布式状态估计算法核心代码100-106

【相似文献】

中国期刊全文数据库 前10条

1 刘兰辉;论前途光明的数据挖掘技术[J];内蒙古科技与经济;2004年05期

2 方忠祥,屠立;数据挖掘技术在客户关系管理中的应用研究[J];机床与液压;2005年06期

3 王文兴;;数据挖掘技术的道与术[J];机械工业信息与网络;2006年03期

4 李志;;浅析数据挖掘技术[J];硅谷;2008年21期

5 孔莉莎;刘闻;;浅谈数据挖掘技术与军事决策支持[J];装备制造技术;2009年10期

6 王旭;;对数据挖掘技术在各领域内应用的探讨[J];中国新技术新产品;2009年24期

7 劳飞;;数据挖掘技术在交通事故分析中的应用[J];山东交通科技;2010年05期

8 王顺民;;构建基于数据挖掘技术的现代医院信息平台[J];制造业自动化;2011年05期

9 潘程;陈玉华;;浅谈数据挖掘技术在零售业中的应用[J];中国新技术新产品;2011年16期

10 宋向瑛;;数据挖掘技术在党校信息化管理的应用[J];硅谷;2012年09期

中国重要会议论文全文数据库 前10条

1 孙义明;曾继东;;数据挖掘技术及其应用[A];全国计算机安全学术交流会论文集（第二十二卷）[C];2007年

2 马洪杰;曲晓飞;;数据挖掘技术和过程的特点[A];面向21世纪的科技进步与社会经济发展（上册）[C];1999年

3 宁红梅;安志兴;葛亚明;李敬玺;赵坤;钟华;陈俊杰;崔艳红;;数据挖掘技术在兽医学中的应用[A];Proceedings of 2010 National Vocational Education of Communications and Information Technology Conference (2010 NVCIC)[C];2010年

4 王桂芹;黄道;;数据挖掘技术综述[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用（CACIS）学术会议论文集[C];2007年

5 徐宝莲;李晓奇;;数据挖掘技术在网络游戏中的应用[A];第十一届中国不确定系统年会、第十五届中国青年信息与管理学者大会论文集[C];2013年

6 胡广芹;陆小左;;数据挖掘技术在中医诊断中的应用[A];中国中西医结合学会诊断专业委员会2009’年会论文集[C];2009年

7 戈欣;吴晓芬;许建荣;;数据挖掘技术在放射科医疗管理中的潜在作用[A];2009中华医学会影像技术分会第十七次全国学术大会论文集[C];2009年

8 铁军;吴智明;;数据挖掘技术在工业铝电解生产中的应用[A];第十九届全国数据库学术会议论文集（技术报告篇）[C];2002年

9 王建华;王菲;黄国建;;数据挖掘技术研究的现状及展望[A];中国运筹学会第六届学术交流会论文集（上卷）[C];2000年

10 肖健华;吴今培;;数据挖掘技术及其应用实例[A];2001年中国智能自动化会议论文集（下册）[C];2001年

中国重要报纸全文数据库 前10条

1 记者　吕贤如;大力加强数据挖掘技术研究应用[N];光明日报;2006年

2 主持人 李禾;数据挖掘技术如何驱动经济车轮[N];科技日报;2007年

3 梅静彦;数据挖掘技术在美国银行的应用[N];金融时报;2006年

4 邹广普;数据挖掘技术在保险业中的应用[N];中国保险报;2010年

5 陈晓 山西财经大学教师;数据挖掘技术在高校教学管理中的应用[N];山西经济日报;2010年

6 张崇峰;挖掘，，再挖掘[N];中国计算机报;2003年

7 刘红岩、何军;利用数据挖掘技术获得商业智能[N];中国计算机报;2003年

8 ;IBM公司推出新型数据挖掘技术[N];中国高新技术产业导报;2001年

9 刘军 兰小红 龚富强;新技术为老装备“保驾护航”[N];大众科技报;2006年

10 ;软件产业人才培养又辟新路[N];中国高新技术产业导报;2000年

中国博士学位论文全文数据库 前10条

1 沈忱;基于贝叶斯网络数据挖掘技术研究《本草纲目》活血化瘀类中药性—效—用关系[D];南京中医药大学;2015年

2 姚山;基于数据挖掘技术的造林决策研究[D];北京林业大学;2008年

3 曹秀英;基于粗集的数据挖掘技术及其应用研究[D];哈尔滨工程大学;2003年

4 伍平阳;基于数据挖掘技术的医疗设备绩效预测方法的应用研究[D];南方医科大学;2008年

5 刘刚;数据挖掘技术与分类算法研究[D];中国人民解放军信息工程大学;2004年

6 王勇;时序数据挖掘技术及其在水质预测中的应用研究[D];广东工业大学;2005年

7 熊忠阳;面向商业智能的并行数据挖掘技术及应用研究[D];重庆大学;2004年

8 朱恒民;领域知识制导的数据挖掘技术及其在中药提取中的应用[D];南京航空航天大学;2006年

9 毛国君;数据挖掘技术与关联规则挖掘算法研究[D];北京工业大学;2003年

10 王萍;基于数据挖掘技术的消费者行为研究[D];吉林大学;2004年

中国硕士学位论文全文数据库 前10条

1 肖建国;数据挖掘技术在就业指导与本科教学改革工作中的应用研究[D];吉林大学;2008年

2 钱和平;基于改进的灰色理论数据挖掘技术的研究[D];内蒙古农业大学;2010年

3 安冬冬;基于数据挖掘技术的常规公交服务水平评价体系研究[D];西南交通大学;2015年

4 陈萍;数据挖掘技术在网络教学中的应用研究[D];广东技术师范学院;2015年

5 邓博;基于数据挖掘技术构建电信4G客户预测模型的研究[D];兰州大学;2015年

6 赵明芳;数据挖掘技术在教学评教中的应用与研究[D];宁夏大学;2015年

7 苗家铭;基于数据挖掘技术的商业银行个人信用风险评估模型及其应用[D];南京财经大学;2015年

8 鲍素贞;数据挖掘技术在个性化网络教学平台中的应用研究[D];聊城大学;2015年

9 李文栋;基于Spark的大数据挖掘技术的研究与实现[D];山东大学;2015年

10 郭忠俊;基于数据挖掘技术的矿井提升机故障诊断研究[D];中国矿业大学;2015年

本文编号：940718