基于Spark框架的电力大数据清洗模型

发布时间：2018-03-10 02:21

  本文选题：电力大数据　切入点：数据清洗　出处：《电测与仪表》2017年14期 　论文类型：期刊论文

【摘要】：针对电力大数据清洗过程中的提取统一异常检测模式困难、异常数据修正连续性及准确性低下等问题,提出了一种基于Spark框架的电力大数据清洗模型。首先基于改进CURE聚类算法获取正常簇;其次,实现了正常簇的边界样本获取方法,并设计了基于边界样本的异常识别算法;最后通过指数加权移动平均数实现了异常数据修正。通过对某风电场风力发电监测数据进行了数据清洗实验分析,验证了清洗模型的高效性、准确性。
[Abstract]:In view of the difficulty of extracting unified anomaly detection mode in the process of power big data cleaning, the correction continuity and accuracy of abnormal data are low, A power big data cleaning model based on Spark framework is proposed. Firstly, the improved CURE clustering algorithm is used to obtain the normal cluster; secondly, the boundary sample acquisition method of the normal cluster is implemented, and the anomaly recognition algorithm based on the boundary sample is designed. Finally, the correction of abnormal data is realized by exponentially weighted moving average, and the efficiency and accuracy of the cleaning model are verified by the experimental analysis of data cleaning for wind power generation monitoring data of a certain wind farm.
【作者单位】： 国网内蒙古东部电力有限公司信息通信分公司;兰州大学数学与统计学院;
【分类号】：TM76;TP311.13

【相似文献】

相关会议论文 前10条

1 俞荣华;郭志懋;田增平;周傲英;;一个可扩展的数据清洗系统[A];第十八届全国数据库学术会议论文集（技术报告篇）[C];2001年

2 崔运钏;刘连忠;;一种可扩展的数据清洗系统的设计与实现[A];2006中国控制与决策学术年会论文集[C];2006年

3 汪爱民;;宝钢全流程合同数据清洗与组织方案的设计和应用[A];全国冶金自动化信息网2014年会论文集[C];2014年

4 蒋勇青;杨奕虹;杨贺;;论数据清洗对信息检索质量的影响及清洗方法[A];2011年中国索引学会年会暨成立二十周年庆典论文集[C];2011年

5 李智;宋杰;冷芳玲;王大玲;鲍玉斌;于戈;;一种基于构件扩展的数据清洗框架[A];第二十五届中国数据库学术会议论文集（一）[C];2008年

6 高淑娟;鲍玉斌;江志纲;王大玲;于戈;;一种基于最小风险贝叶斯决策的数据清洗策略[A];第十九届全国数据库学术会议论文集（研究报告篇）[C];2002年

7 王妍;石鑫;宋宝燕;;基于伪事件的RFID数据清洗方法[A];第26届中国数据库学术会议论文集（B辑）[C];2009年

8 李晓静;谷峪;吕雁飞;王艳秋;于戈;;基于动态事件概率模型的高效RFID数据清洗算法[A];第二十五届中国数据库学术会议论文集（二）[C];2008年

9 肖英治;陈红;;带数据清洗功能的数据预处理系统PW-ETL的设计与实现[A];第二十一届中国数据库学术会议论文集（研究报告篇）[C];2004年

10 赵之慧;;专利数据加工[A];2014年中华全国专利代理人协会年会第五届知识产权论坛论文（第二部分）[C];2014年

相关重要报纸文章 前1条

1 中国人民财产保险股份有限公司信息技术部副总经理 鹿慧　编译;在SOA中创建独立的数据清洗服务[N];计算机世界;2009年

相关博士学位论文 前1条

1 樊华;面向物联网的RFID不确定数据清洗与存储技术研究[D];国防科学技术大学;2013年

相关硕士学位论文 前10条

1 高宝;不确定性RFID数据清洗算法研究[D];南京信息工程大学;2015年

2 叶晨;基于众包的数据清洗关键技术的研究[D];哈尔滨工业大学;2015年

3 张晓东;基于业务模型的数据清洗与整合平台的设计与实现[D];电子科技大学;2015年

4 艾超;针对在线产品支撑数据的过滤和分析系统的研究与设计[D];电子科技大学;2015年

5 金翰伟;基于Spark的大数据清洗框架设计与实现[D];浙江大学;2016年

6 王江;数据清洗技术研究及清洗框架的设计与实现[D];内蒙古大学;2016年

7 陈飞;基于MapReduce的数据清洗算法研究[D];昆明理工大学;2016年

8 李宁宁;大数据清洗系统中优化技术的研究与实现[D];哈尔滨工业大学;2016年

9 盛丹丹;面向农业领域知识库构建的数据清洗方法优化研究[D];中国农业科学院;2016年

10 郑纪玲;数据清洗在构建POI数据仓库中的研究与应用[D];中国矿业大学;2016年

，

本文编号：1591341