基于Hadoop平台的电信养卡研究与分析

发布时间：2017-11-21 12:29

  本文关键词：基于Hadoop平台的电信养卡研究与分析

  更多相关文章： 电信运营商 养卡 K_Means Canopy Hadoop

【摘要】：随着电信行业代理商的不断增多,代理商在市场中出现违规操作的现象也越来越普遍。其中最主要的违规行为是建立“猫池”设备进行养卡,通过养卡来套取电信运营商的代理酬金。为了打击代理商的这种行为,电信运营商借助传统的数据库技术分析每月新发展的用户是否为养卡用户,然而,这需要花费大量的人力物力,且正确率最高只有85%。为了更加高效的区分电信运营商的养卡用户,本文运用了数据挖掘技术以及Hadoop平台。本文以作者在江苏某运营商实习期间获得的真实数据为背景,对电信运营商区分养卡用户进行了研究和分析。本文将数据挖掘常用的BP神经网络算法和K_Means算法应用到养卡分析中,根据K_Means算法的仿真结果分析原始数据中较强的影响因子,找出其对应的数据属性,并通过属性增强的方法修改原始数据,该方法可以改善K_Means算法的聚类效果,有效提高养卡分析的正确率。随后,基于Canopy算法对K_Means算法的养卡聚类分析进行了改进,将Canopy算法得到的两个距离最大的Canopy作为K_Means算法的初始聚类中心,提高了聚类效率。最后,将基于Hadoop平台的电信养卡分析集成到Web平台上,该平台包括类型转换、算法调用、任务监控、结果查询等功能,提高了整个养卡分析过程的效率。结果表明,本文提出的基于Hadoop的养卡分析方法有效提高了判决正确率、降低了时间开销,相比于电信运营商的传统数据库分析,正确率提高了6.32%;相比于传统单机运行K_Means算法的养卡聚类分析,四个结点的Hadoop平台时间开销降低了64.22%。本文的研究可以为电信运营商的养卡分析提供理论支持,同时也为其他行业中的欺诈行为分析提供了新思路。
【学位授予单位】：南京邮电大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：F626;TP311.13

【相似文献】

中国期刊全文数据库 前10条

1 逄利华;张锦春;;基于Hadoop的分布式数据库系统[J];办公自动化;2014年05期

2 郑玮;;Hadoop释放大数据潜能[J];软件和信息服务;2012年10期

3 刘尔凯;崔振东;;基于HADOOP技术 实现银行历史数据线上化研究[J];金融电子化;2014年01期

4 邹群;;一种基于Hadoop的数字图书存储系统设计方案[J];黑龙江史志;2014年01期

5 谌章义;毕伟;向万红;王国安;吴爱国;;基于Hadoop的海量电费数据处理模型[J];计算机系统应用;2014年05期

6 ;大数据不等于Hadoop[J];办公自动化;2014年06期

7 ;保障Hadoop数据安全的十大措施[J];计算机与网络;2013年08期

8 王峰;雷葆华;;Hadoop分布式文件系统的模型分析[J];电信科学;2010年12期

9 苏小会;何婧媛;;Hadoop中任务调度算法的改进[J];电子设计工程;2012年22期

10 林伟伟;;一种改进的Hadoop数据放置策略[J];华南理工大学学报(自然科学版);2012年01期

中国重要报纸全文数据库 前8条

1 本报记者 郭涛;机器大数据也离不开Hadoop[N];中国计算机报;2013年

2 本报记者 王星;Hadoop引发大数据之战[N];电脑报;2012年

3 本报记者 邹大斌;Hadoop一体机降低大数据门槛[N];计算机世界;2012年

4 孙定;云计算、大数据与Hadoop[N];计算机世界;2011年

5 乐天　编译;Hadoop：打开大数据之门的金钥匙[N];计算机世界;2012年

6 范范　编译;Hadoop用户可以使用多种搜索引擎[N];网络世界;2013年

7 波波　编译;Hadoop、Web 2.0为磁带带来新商机[N];网络世界;2013年

8 本报记者 郭涛;让更多人能够使用Hadoop[N];中国计算机报;2012年

中国博士学位论文全文数据库 前1条

1 宋亚奇;云平台下电力设备监测大数据存储优化与并行处理技术研究[D];华北电力大学(北京);2016年

中国硕士学位论文全文数据库 前10条

1 朱泉明;基于Hadoop平台的故障诊断专家系统研究[D];河北工业大学;2015年

2 汲磊举;大数据环境下动车组故障关联关系分析关键技术研究与实现[D];北京交通大学;2016年

3 王郑委;基于大数据Hadoop平台的出租车载客热点区域挖掘研究[D];北京交通大学;2016年

4 张博洋;基于Hadoop的动车组故障诊断关键技术的研究与实现[D];北京交通大学;2016年

5 施云霄;Hadoop组件管理软件Data Hub的设计与实现[D];南京大学;2014年

6 宋莹玮;Hadoop云平台下基于本体的图像检索系统研究[D];吉林大学;2016年

7 刘闻飞;基于R语言和Hadoop的集成技术及其实现研究[D];华中科技大学;2014年

8 熊定鸿;Hadoop平台下的分布式SVM算法及其应用研究[D];西南交通大学;2016年

9 李保民;基于Hadoop的路径分析及能耗预测[D];北京交通大学;2016年

10 陈炼;Hadoop自动化运维管理系统的设计与实现[D];北京交通大学;2016年

，

本文编号：1210943