基于Spark Streaming的实时数据分析系统及其应用

发布时间：2018-01-29 15:28

  本文关键词： Spark Streaming框架 分布式流处理 网络数据分析 分布式拒绝服务攻击　出处：《计算机应用》2017年05期 　论文类型：期刊论文

【摘要】：为了实现对实时网络数据流的快速分析,设计一种分布式实时数据流分析系统(DRDAS),能有效解决并发访问数据流的收集、存储和实时分析问题,为大数据环境的网络安全检测提供了一种有效的数据分析平台;根据Spark Streaming运行的原理设计一种动态采样的K-Means并行算法,与DRDAS结合能实时有效地检测大数据环境下的各种分布式拒绝服务(DDo S)攻击。实验结果显示:DRDAS具有好的可扩展性、容错性和实时处理能力,与动态采样的K-Means并行算法结合能实时地检测各种DDo S攻击,缩短了攻击的检测时间。
[Abstract]:In order to realize the fast analysis of real time network data flow, a distributed real time data stream analysis system is designed, which can effectively solve the collection, storage and real time analysis of concurrent access data streams. It provides an effective data analysis platform for network security detection in big data environment. According to the principle of Spark Streaming running, a dynamic sampling K-Means parallel algorithm is designed. In combination with DRDAS, we can detect various distributed denial of service (DDoS) attacks in big data environment in real time and effectively. The experimental results show that the distributed denial of Service (DDoS) attacks in big data environment are extensible. Fault tolerance and real-time processing ability, combined with dynamic sampling K-Means parallel algorithm, can detect all kinds of DDo S attacks in real time, and shorten the detection time.
【作者单位】： 上海海事大学信息工程学院;郑州大学信息工程学院;
【基金】：国家自然科学基金资助项目(61373028,61672338)~~
【分类号】：TP311.13
【正文快照】： 0引言随着互联网的高速发展,普通用户带宽普遍升级,尤其是在一些大城市,家庭用户的带宽都已经达到20 MB/s,甚至更高。此外,随着3G网络的普及,以及4G网络的逐步推广,移动互联网也进入了一个蓬勃发展的时期。个人网络带宽的快速增长和不断增加的网络用户,对企业网络安全带来了巨

【相似文献】

相关期刊论文 前8条

1 ERiC;;Streaming Audio Player小巧易用[J];软件;2001年10期

2 Luigi Atzori;Alessandro Floris;Giaime Ginesu;Daniele D. Giusto;;Estimating Reduced-Reference Video Quality for Quality-Based Streaming Video[J];ZTE Communications;2013年01期

3 王志刚;周南;高庆;;Darwin Streaming server的研究与应用[J];电脑知识与技术;2008年35期

4 ;Microsoft轻倚两“栏”[J];每周电脑报;1997年28期

5 林艺;谢伟凯;鲁晨平;张智强;申瑞民;;支持混合演示场景的移动学习直播系统[J];计算机工程与应用;2012年34期

6 李光耀;唐继勇;;基于Darwin Streaming Server TS流推送模块的设计[J];硅谷;2011年16期

7 胡学钢;李培培;吴信东;吴共庆;;A Semi-Random Multiple Decision-Tree Algorithm for Mining Data Streams[J];Journal of Computer Science & Technology;2007年05期

8 ;[J];;年期

相关会议论文 前2条

1 Li-fang Zhao;;Streaming Media Technology in the Digital Library Information Transmission[A];proceedings of 2010 3rd International Conference on Computer and Electrical Engineering (ICCEE 2010 no.2)[C];2012年

2 Xiuli Yuan;Guangfeng Guo;;Exploration on the Design and Development of Micro Mobile Learning Resources[A];2013教育技术与信息系统国际会议论文集[C];2013年

相关硕士学位论文 前2条

1 Fredrik Rosenqvist;基于Web的流平台服务器端的设计与实现[D];哈尔滨工业大学;2015年

2 宁永恒;基于Spark的若干数据挖掘技术研究[D];中国计量学院;2015年

，

本文编号：1473733