基于大数据平台的恶意IP分类算法研究

发布时间：2020-05-23 22:35

【摘要】：随着互联网的快速发展,在铁路售票系统中,网络售票量远远超过了车站窗口、全国代售点等售票渠道,网络购票成为了大众出行购票的首要选择。同时受利益驱动,互联网售票行业也面临着灰色产业的威胁。研究发现,在春运、节假日等售票高峰期,频频存在恶意刷票的现象,严重影响了用户正常的购票体验。为了对一些恶意数据请求进行拦截和实时处理,开发了基于大数据平台的风控系统。在该系统的策略分析环节,由于无法有效的区分当前请求IP的来源,影响了策略阈值的选取,存在着误伤的风险。此外售票系统面临着每天上千万的访问量,产生了海量的数据集,如何高效的进行数据分类也成为了问题的关键。本论文针对以上问题,结合数据挖掘相关知识开展了研究,提出了基于大数据平台的恶意IP分类算法。本论文的主要贡献包括以下方面:1.在恶意IP分类问题上,本文介绍了常用的分类算法,通过仿真实验,分析了已有算法的优缺点,筛选出更适合当前应用场景的随机森林算法RF。为提高分类精度,提出了基于随机森林的恶意IP分类算法IPRF。IPRF算法主要是改进了特征选取步骤,采用了 Bagging与Forest-RI相结合的特征选取方法,增加样本特征选择的随机性,构建分类器时,引入了基于OOB估计的权重计算。通过五组数据集的对比实验,表明IPRF算法有效的提高了分类准确率,提高了分类器的性能。2.在数据分类效率问题中,针对海量的数据量,提出了基于MapReduce框架的并行化思想,结合IPRF算法,提出了基于大数据平台的恶意IP分类算法,研究并设计了并行化流程。基于大数据平台,通过三组不同数量的数据集进行对比实验,验证了算法的可行性,缩短了算法执行时间,有效的提高了数据处理的效率。基于大数据平台的恶意IP分类算法的实现能够使得在风控系统的策略分析环节更加完善,有效的避免对正常用户的误伤,从而促使策略的阈值选取更合理化,从而更好地完善风控系统,有效的加强对异常购票行为识别。
【图文】：

架构图,架构,平台

２基础理论和相关技术逡逑随着计算机和互联网等技术的快速发展，大量的数据不断涌现。对于售，每天都有大量的访问量，随即会产生大量的日志数据，那么如何分析如何在海量数据面前充分利用数据的价值，就成为互联网公司在优化企可避免的问题。高性能的Ｈａｄｏｏｐ平台的产生，，有效的促进了大数据处展。针对恶意ＩＰ的问题，本文提出了基于Ｈａｄｏｏｐ平台的恶意ＩＰ分传统的分类方法进行比较。本章将对Ｈａｄｏｏｐ平台的主要架构、ＭａｐＲｅｄ型、ＨＤＦＳ分布式文件存储系统等内容和实验过程中涉及到的概念、算行介绍。逡逑Ｈａｄｏｏｐ平台框架逡逑

架构图,架构,逻辑

基础理论和相关技术逡逑以Ｈａｄｏｏｐ集群为核心的大数据平台，自形成之日起就不断地进行着功能的完逡逑善和性能的提升。如图２－１所示，Ｈａｄｏｏｐ平台的主要组件有ＨＤＦＳ分布式文件存逡逑储系统、ＭａｐＲｅｄｕｃｅ并行化计算框架、Ｈｂａｓｅ实时分布式数据库、Ｈｉｖｅ分布式数据逡逑仓库、Ｚｏｏｋｅｅｐｅｒ分布式协调系统、Ｐｉｇ海量数据流处理系统、Ｓｐａｒｋ内存分布式计逡逑算框架、Ｓｔｏｒｍ分布式实时大数据处理系统、Ｋａｆｋａ分布式发布订阅消息系统、Ｆｌｕｍｅ逡逑海量日志采集聚合传输系统、Ｍａｈｏｕｔ海量数据挖掘与机器学习算法库等构成。目逡逑前，为了便捷、高效的处理数据挖掘相关工作，已经有很多互联网公司搭建了他们逡逑自己的基于Ｈａｄｏｏｐ的大数据平台。随着互联网的快速发展，Ｈａｄｏｏｐ也逐渐被电逡逑子商务业、制造业、教育机构以及科研机构等行业学习、改进和使用，Ｈａｄｏｏｐ己逡逑经成为在数据处理领域应用最广泛的大数据处理平台。逡逑基于Ｈａｄｏｏｐ平台的机器学习分类算法有着广阔的应用和研宄前景，机器学逡逑习分类算法处理分析海量数据这一广泛且重要的应用场景，以及Ｈａｄｏｏｐ这一稳逡逑定的、扩展性强的分布式基础架构系统，吸引了众多领域内的专家学者对其开展了逡逑深入的研究。逡逑２．２邋ＨＤＦＳ分布式文件系统逡逑ＨＤＦＳ邋（Ｈａｄｏｏｐ邋Ｄｉｓｔｒｉｂｕｔｅｄ邋Ｆｉｌｅ邋Ｓｙｓｔｅｍ）是一种分布式文件系统，也是邋Ｈａｄｏｏｐ逡逑平台中的核心组件。ＨＤＦＳ源于Ｇｏｏｇｌｅ在２００３年发表的ＧＦＳ（ＧｏｏｇｌｅＦｉｌｅＳｙｓｔｅｍ）逡逑论文
【学位授予单位】：北京交通大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：F49;TP18;TP311.13

【参考文献】