基于Spark平台的局部离群值挖掘算法研究

发布时间：2017-03-22 16:01

  本文关键词：基于Spark平台的局部离群值挖掘算法研究，由笔耕文化传播整理发布。

【摘要】：随着数据挖掘技术的进步以及Hadoop和Spark等大数据分析平台的流行,分析大规模数据集的难度显著降低,而且数据质量相比以往明显提高,在这样的背景下海量数据中的极少数离群值不再鸡肋。与发现数据的普遍模式相比,异常数据模式可能更有价值,例如警察局更关心那些发生犯罪或者可能发生犯罪的离群点,而且利用离群值检测帮助银行业侦测欺诈交易,或者帮助药厂发现药物异常,这些应用有着很高的社会价值却往往被忽略。利用传统的离群值侦测技术结合新兴的数据挖掘技术去探索离群值的隐含模式具有很高的研究价值。基于聚类的离群值挖掘算法是目前最主流的离群值挖掘算法,但是该算法有两点难点,首先算法不仅在性能上受到相关聚类算法的限制,也具有较高的计算复杂度,另一个难点是定义离群值的尺度,因为没有一个弹性的度量标准供使用者考量。为解决上述弊端,国外学者提出利用离群因子展示对象的离群程度的方法,但是LOF或者LDOF离群因子虽然具有高稳定性和高准确性等优点,也具有计算复杂度高的缺点。本文基于将待查数据集剪枝优化LDOF算法的思想,提出基于聚类特征树将待查数据集剪枝优化LDOF算法的CFLDOF算法。本文利用实验证实CFLDOF算法不仅优化LDOF算法的计算时间,也有着近似于LDOF算法的准确率。此外,本文基于算法并行化思想对CFLDOF算法改进,并给出在Spark平台上实现CFLDOF算法的伪代码。本文主要工作如下:1)提出利用聚类特征树剪枝待查数据集从而优化LDOF算法的思想,并基于此思想提出CFLDOF算法;2)进行对比实验验证CFLDOF算法的不仅在时间复杂度上优化LDOF算法,也有着近似于LDOF算法的准确性;3)提出CFLDOF算法的并行化设计,并给出基于Spark平台实现CFLDOF算法的伪代码;结合本文工作,可以得到的结论是:CFLDOF算法可以优化LDOF算法的计算复杂度,并有着与LDOF算法相近的准确率,利用聚类特征树剪枝待查数据集对LDOF算法的优化是可行的。
【关键词】：局部离群值挖掘 聚类特征树 剪枝 Spark
【学位授予单位】：吉林大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.13
【目录】：

• 摘要4-6
• Abstract6-10
• 第1章 引言10-15
• 1.1 研究背景及意义10-11
• 1.2 国内外研究现状11-13
• 1.2.1 离群值挖掘研究现状11-12
• 1.2.2 Spark研究现状12-13
• 1.3 论文的主要工作13
• 1.4 本文的组织结构13-14
• 1.5 本章小结14-15
• 第2章 相关技术15-26
• 2.1 Spark相关技术15-19
• 2.1.1 Spark简介15-16
• 2.1.2 弹性分布式数据集RDD16-18
• 2.1.3 Spark任务流程18-19
• 2.2 离群值挖掘相关技术19-23
• 2.2.1 离群值定义19-20
• 2.2.2 数据挖掘与离群值挖掘20-21
• 2.2.3 离群值挖掘算法简介21-23
• 2.3 聚类特征树23-25
• 2.4 本章小结25-26
• 第3章 离群值挖掘算法分析与研究26-42
• 3.1 离群值度量26-32
• 3.1.1 二元性离群值26-28
• 3.1.2 局部离群因子28-29
• 3.1.3 LOF离群因子29-30
• 3.1.4 LDOF离群因子30-32
• 3.2 基于LDOF算法的剪枝策略优化32-36
• 3.2.1 离群值特性32-34
• 3.2.2 基于聚类特征树的剪枝策略34-35
• 3.2.3 基于聚类特征树剪枝的局部离群值挖掘算法35-36
• 3.4 算法性能及实验分析36-41
• 3.4.1 算法复杂度分析36
• 3.4.2 实验环境36-37
• 3.4.3 实验结果及分析37-41
• 3.5 本章小结41-42
• 第4章 基于Spark平台离群值挖掘算法分析与实现42-50
• 4.1 算法并行化策略42-44
• 4.2 CFLDOF算法并行化分析44-47
• 4.2.1 初始设计45
• 4.2.2 算法改进45-47
• 4.2.3 改进后的CFLDOF算法分析47
• 4.3 基于Spark平台实现改进的CFLDOF并行化算法47-49
• 4.3.1 基于Spark平台架设改进CFLDOF算法48-49
• 4.3.2 基于Spark平台实现改进CFLDOF算法49
• 4.4 本章小结49-50
• 第5章 结语50-52
• 5.1 本文工作总结50-51
• 5.2 未来工作展望51-52
• 参考文献52-54
• 致谢54

【相似文献】

中国期刊全文数据库 前10条

1 葛磊;武芳;王鹏波;张冬林;;3维建筑综合中基于最小特征的面平移算法[J];测绘科学技术学报;2009年02期

2 骆雯,孙延明,陈振威,陈锦昌;判断点与封闭多边形相对关系的改进算法[J];机械;1999年03期

3 李林;卢显良;;一种基于切割映射的规则冲突消除算法[J];电子学报;2008年02期

4 刘巧玲;张红英;林茂松;;一种简单快速的图像去雾算法[J];计算机应用与软件;2013年07期

5 林亚平,杨小林;快速概率分析进化算法及其性能研究[J];电子学报;2001年02期

6 章郡锋;吴晓红;黄晓强;何小海;;基于暗原色先验去雾的改进算法[J];电视技术;2013年23期

7 杨铁军;靳婷;;一种动态整周模糊值求解算法及其仿真分析[J];系统工程与电子技术;2007年01期

8 周秀玲;郭平;陈宝维;王静;;几种计算超体积算法的比较研究[J];计算机工程;2011年03期

9 吴一戎,胡东辉,彭海良;Chirp Scaling SAR成象算法及其实现[J];电子科学学刊;1995年03期

10 王贵竹;一种产生单向分解值的算法[J];安徽大学学报(自然科学版);2001年03期

中国重要会议论文全文数据库 前10条

1 尹冀锋;;一种新的图象自适应增强算法[A];四川省通信学会一九九二年学术年会论文集[C];1992年

2 宁春平;田家玮;郭延辉;王影;张英涛;郑桂霞;刘研;;计算机辅助增强、分割算法在鉴别乳腺良、恶性肿块中的应用价值[A];中华医学会第十次全国超声医学学术会议论文汇编[C];2009年

3 谢丽聪;;SVB查询改写算法的改进[A];第二十一届中国数据库学术会议论文集（研究报告篇）[C];2004年

4 郑存红;;复杂背景下相关跟踪算法研究及DSP实现[A];中国光学学会2010年光学大会论文集[C];2010年

5 杨文杰;吴军;;RFID抗冲突算法研究[A];2008通信理论与技术新进展——第十三届全国青年通信学术会议论文集（上）[C];2008年

6 高山;毕笃彦;魏娜;;一种基于UPF的小目标TBD算法[A];第十四届全国图象图形学学术会议论文集[C];2008年

7 周磊;张卫华;王晓奇;张军;;基于流水算法的智能路障机器人设计[A];2011年全国电子信息技术与应用学术会议论文集[C];2011年

8 潘巍;李战怀;陈群;索博;李卫榜;;面向MapReduce的非对称分片复制连接算法优化技术研究[A];第29届中国数据库学术会议论文集（B辑）（NDBC2012）[C];2012年

9 李伟伟;蔡康颖;郑新;王文成;;3D模型中重复结构的多尺度快速检测算法[A];第六届和谐人机环境联合学术会议（HHME2010)、第19届全国多媒体学术会议（NCMT2010）、第6届全国人机交互学术会议（CHCI2010）、第5届全国普适计算学术会议（PCC2010）论文集[C];2010年

10 杨任尔;陈恳;励金祥;;基于棱边方向检测的运动自适应去隔行算法[A];Proceedings of 2010 Chinese Control and Decision Conference[C];2010年

中国重要报纸全文数据库 前1条

1 国泰君安资产管理部;“算法交易”是道指暴跌罪魁祸首?[N];上海证券报;2010年

中国博士学位论文全文数据库 前10条

1 冯辉;网络化的并行与分布式优化算法研究及应用[D];复旦大学;2013年

2 许玉杰;云计算环境下海量数据的并行聚类算法研究[D];大连海事大学;2014年

3 李琰;基于猫群算法的高光谱遥感森林类型识别研究[D];东北林业大学;2015年

4 陈加顺;海洋环境下聚类算法的研究[D];南京航空航天大学;2014年

5 王洋;基于群体智能的通信网络告警关联规则挖掘算法研究[D];太原理工大学;2015年

6 雷雨;面向考试时间表问题的启发式进化算法研究[D];西安电子科技大学;2015年

7 熊霖;大数据下的数据选择与学习算法研究[D];西安电子科技大学;2015年

8 周雷;基于图结构的目标检测与分割算法研究[D];上海交通大学;2014年

9 王冰;人工蜂群算法的改进及相关应用的研究[D];北京理工大学;2015年

10 蒋亦樟;多视角和迁移学习识别方法和智能建模研究[D];江南大学;2015年

中国硕士学位论文全文数据库 前10条

1 姚鑫宇;EMD去噪与MUSIC算法在DOA估计中的联合应用[D];昆明理工大学;2015年

2 陆进;面向含噪数据聚类相关算法的研究[D];复旦大学;2014年

3 李家昌;基于能量约束的超声图像自动分割算法[D];华南理工大学;2015年

4 陈坚;基于密度和约束的数据流聚类算法研究[D];兰州大学;2015年

5 高健;基于Zynq7000平台的去雾算法研究及实现[D];南京理工大学;2015年

6 顾磊;基于Hadoop的聚类算法的数据优化及其应用研究[D];南京信息工程大学;2015年

7 杨燕霞;基于Hadoop平台的并行关联规则挖掘算法研究[D];四川师范大学;2015年

8 王羽;基于MapReduce的社区发现算法的设计与实现[D];南京理工大学;2015年

9 许振佳;流式数据的并行聚类算法研究[D];曲阜师范大学;2015年

10 董琴;人工蜂群算法的改进与应用[D];大连海事大学;2015年

  本文关键词：基于Spark平台的局部离群值挖掘算法研究，由笔耕文化传播整理发布。

，

本文编号：261796