针对Hadoop的DDoS攻击检测技术研究与实现
发布时间：2021-01-20 20:32
Hadoop作为使用最广泛的开源分布式系统架构,广泛应用于数字货币、电子现金、网络保险、智能医疗等各个领域,其安全性也越来越受到重视。Hadoop设计之初并没有考虑安全机制,且默认集群不会遭到恶意节点的攻击。随着网络环境的日趋复杂和集群计算实时性需求的提出,Hadoop面对外部扫描、渗透、DDoS（分布式拒绝服务,Distributed denial of service）、蠕虫等攻击的威胁变大。DDoS攻击控制多个傀儡主机向网络中发送大量包含虚假信息的合法请求,占用正常用户的访问带宽达到拒绝服务的效果,是网络安全环境中不可忽视的攻击手段。本文针对Hadoop可能遭受的DDoS攻击展开研究,在反复研读大量国内外文献的基础上,从Hadoop的体系架构和安全机制出发,分析针对Hadoop的DDoS攻击手段,提出一种基于GA-SVM的DDoS攻击检测方法。主要工作和成果如下:1.对有无HA机制和Zookeeper配置的Hadoop集群进行DDoS攻击实验。分析Hadoop不同部署方式和安全配置对其遭受DDoS攻击时响应机制的影响,总结针对Hadoop最有效的攻击方式,并在后文中结合这种攻击手...
【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校
【文章页数】：84 页
【学位级别】：硕士
【部分图文】：
图２－２?ＨＤＦＳ架构图??ＨＤＦＳ采用Ｍａｓｔｅｒ／Ｓｌａｖｅ架构来存储数据
它是Ｇｏｏｇｌｅ?ＧＦＳ的开源实现。ＨＤＦＳ被设计用来可靠地存储超大数据集，它可应??用于廉价的商用服务器上，具有高容错、高可扩展性、高吞吐量等特点。ＨＤＦＳ??架构如图２－２所示：??桃磁坌?｜?｜?ｊ?Ｈａｉｕｄｋ??Ｌ??Ｌ＿Ｌ＿Ｊ?元数据????１?ｋ?个?「Ｃｌｉｅｎｔ?????／???：?１???／??Ｓｅｃｃｎｄａｒｙ?罐?ＮａｒａｅＳｐａｃｅ?Ｂｌｏｄｃ?／??ＮａｍｅＮｏｄｅ?Ｓｔａｔｅ?Ｊ?＾???＾牛?Ｖ??ＮａｉｓｅＮｏｄｅ?，???／??????Ｈｅａｒｔｂｅａｔ?＆?＾?Ｃｌｉｅｎｔ??．ＢｌｏｃｋＲｑｊｏｒｔ?／?＇＇⑴—???＾?Ａ??’?▲－一，，??ＣＥＥＤ?Ｃ３ＥＤ??Ｅ□回Ｉ?回［Ｅ３?ＣＥＯ回?ＥＥ３回??Ｌ?间?Ｊ?Ｌ?Ｅ?Ｊ?Ｌ?回」Ｌ?ＥＤ?Ｊ??ＤａｔｓＮｏｄｅ?ＤａｔａＮ＾ｄｅ?ＤａｔａＮｏｄｅ?ＤａｌａＮｏｄｃ??图２－２?ＨＤＦＳ架构图??ＨＤＦＳ采用Ｍａｓｔｅｒ／Ｓｌａｖｅ架构来存储数据。这种架构下集群中主要存在四种??角色：??ＮａｍｅＮｏｄｅ节点：ＮａｍｅＮｏｄｅ是系统的唯一管理者，存储文件系统的命名空??间和文件到数据块的映射。它接受ｃｌｉｅｎｔ的元数据查询请求，并返回文件块的具??体位置给ｃｌｉｅｎｔ以便进行后续的文件读写操作。??ＤａｔａＮｏｄｅ节点：执行数据块的读／写操作
入Ｙａｍ资源管理平台，ｒｅｓｏｕｒｃｅ?ｍａｎａｇｅｒ只负责作业的分配与调度，作业的具体??执行和状态管控都由ｎｏｄｅ?ｍａｎａｇｅｒ负责。最新版本的Ｈａｄｏｏｐ?ＭａｐＲｅｄｕｃｅ工作机??制如图２－４所示：??，?－，?￣１?２．－ａｃ＜?ａｉ？ｖｖ?ａｐ＝＞ｌ；Ｌ－＜（！?；ｉ：；ｉ?ｊ?．?｜???????ｐｒｏｇｒａｍ??灿?￥：ｓｕｂｍＢ?ａｐｐｌｉｃａｔｉｏｎ＊．?＾?ＲｅｓｏｕｃｅＭａｎａｇ．ｅｒ???ｄｉｅｍ?ｉＶＭ?—?／?？??ｄｉｃｎｔ?ｎｏｄｅ?．?／?ｒｅｓ抑ｅｅ??ｃｏｎｉａａｉｅｉ?／?Ｉ??￣￣｜?／Ｓｒａｌｉｅｃａｌｅ?ｒｅｓｏｓｉｒｃｅｓ??３ｘｏｐｙ?ｊｏｂ?ｒｃｓｃｕｒｃｅｓ?Ｎｏｄｅ，．ｌａＲａ＂ｅｒ?＾??ＳｂｒＳａｉｍｄｉ?ｙ?ｒ?ｊ??ｆｔｒｉｎｉｔｊａｌｉｚｅ．??＂?■?■?＜????ｉｉＭｄｅ．＊＇＊?＾ａｒｓｔａｎ??：?ＭＲＡｐｐＭａｓｌｃｒ?—?？？?ＮｏｄｅＭａｎａｇｅｒ??＊？４＾?ｃｔ？ａ？ａｍｅｒ??＾?ｎ－?－???孙：１３８０今?ｐ??１?ｎ？ｄｅ?ｎｉａｎ？｜，￥Ｔ?ｎｕｄｅ??????，￣＾＾＾ｒｅｔｒｉｅｖｅ?ｔａｓｋ?ＪＶＭ?
【参考文献】：
期刊论文
[1]遗传算法优化的SVM在航空发动机磨损故障诊断中的应用[J]. 皮骏,马圣,贺嘉诚,孔庆国,马龙. 润滑与密封. 2018(10)
[2]新型群智能优化算法综述[J]. 林诗洁,董晨,陈明志,张凡,陈景辉. 计算机工程与应用. 2018(12)
[3]Hadoop大数据平台安全问题和解决方案的综述[J]. 陈丽,黄晋,王锐. 计算机系统应用. 2018(01)
[4]DDoS攻击防御技术发展综述[J]. 陈飞,毕小红,王晶晶,刘渊. 网络与信息安全学报. 2017(10)
[5]基于熵的网络异常流量检测研究综述[J]. 李蕊,张路桥,李海峰,刘恺. 计算机系统应用. 2017(06)
[6]云计算中Hadoop技术研究与应用综述[J]. 夏靖波,韦泽鲲,付凯,陈珍. 计算机科学. 2016(11)
[7]Hadoop生态体系安全框架综述[J]. 陈玺,马修军,吕欣. 信息安全研究. 2016(08)
[8]基于熵和SVM多分类器的异常流量检测方法[J]. 朱佳佳,陈佳. 计算机技术与发展. 2016(03)
[9]基于流量和IP熵特性的DDoS攻击检测方法[J]. 杨君刚,王新桐,刘故箐. 计算机应用研究. 2016(04)
[10]大流量下一种基于活跃熵的DDoS攻击检测方法[J]. 张明明,李玉峰,张鹏,孙淼. 计算机应用研究. 2016(07)
博士论文
[1]云环境下DDoS攻防体系及其关键技术研究[D]. 刘孟.南京大学 2016
硕士论文
[1]基于HDFS的云存储系统的实现与优化[D]. 邹振宇.中国科学技术大学 2016
[2]云平台下HDFS HA的研究与实现[D]. 王刚.西北大学 2013
本文编号：2989738
【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校
【文章页数】：84 页
【学位级别】：硕士
【部分图文】：
图２－２?ＨＤＦＳ架构图??ＨＤＦＳ采用Ｍａｓｔｅｒ／Ｓｌａｖｅ架构来存储数据
它是Ｇｏｏｇｌｅ?ＧＦＳ的开源实现。ＨＤＦＳ被设计用来可靠地存储超大数据集，它可应??用于廉价的商用服务器上，具有高容错、高可扩展性、高吞吐量等特点。ＨＤＦＳ??架构如图２－２所示：??桃磁坌?｜?｜?ｊ?Ｈａｉｕｄｋ??Ｌ??Ｌ＿Ｌ＿Ｊ?元数据????１?ｋ?个?「Ｃｌｉｅｎｔ?????／???：?１???／??Ｓｅｃｃｎｄａｒｙ?罐?ＮａｒａｅＳｐａｃｅ?Ｂｌｏｄｃ?／??ＮａｍｅＮｏｄｅ?Ｓｔａｔｅ?Ｊ?＾???＾牛?Ｖ??ＮａｉｓｅＮｏｄｅ?，???／??????Ｈｅａｒｔｂｅａｔ?＆?＾?Ｃｌｉｅｎｔ??．ＢｌｏｃｋＲｑｊｏｒｔ?／?＇＇⑴—???＾?Ａ??’?▲－一，，??ＣＥＥＤ?Ｃ３ＥＤ??Ｅ□回Ｉ?回［Ｅ３?ＣＥＯ回?ＥＥ３回??Ｌ?间?Ｊ?Ｌ?Ｅ?Ｊ?Ｌ?回」Ｌ?ＥＤ?Ｊ??ＤａｔｓＮｏｄｅ?ＤａｔａＮ＾ｄｅ?ＤａｔａＮｏｄｅ?ＤａｌａＮｏｄｃ??图２－２?ＨＤＦＳ架构图??ＨＤＦＳ采用Ｍａｓｔｅｒ／Ｓｌａｖｅ架构来存储数据。这种架构下集群中主要存在四种??角色：??ＮａｍｅＮｏｄｅ节点：ＮａｍｅＮｏｄｅ是系统的唯一管理者，存储文件系统的命名空??间和文件到数据块的映射。它接受ｃｌｉｅｎｔ的元数据查询请求，并返回文件块的具??体位置给ｃｌｉｅｎｔ以便进行后续的文件读写操作。??ＤａｔａＮｏｄｅ节点：执行数据块的读／写操作
入Ｙａｍ资源管理平台，ｒｅｓｏｕｒｃｅ?ｍａｎａｇｅｒ只负责作业的分配与调度，作业的具体??执行和状态管控都由ｎｏｄｅ?ｍａｎａｇｅｒ负责。最新版本的Ｈａｄｏｏｐ?ＭａｐＲｅｄｕｃｅ工作机??制如图２－４所示：??，?－，?￣１?２．－ａｃ＜?ａｉ？ｖｖ?ａｐ＝＞ｌ；Ｌ－＜（！?；ｉ：；ｉ?ｊ?．?｜???????ｐｒｏｇｒａｍ??灿?￥：ｓｕｂｍＢ?ａｐｐｌｉｃａｔｉｏｎ＊．?＾?ＲｅｓｏｕｃｅＭａｎａｇ．ｅｒ???ｄｉｅｍ?ｉＶＭ?—?／?？??ｄｉｃｎｔ?ｎｏｄｅ?．?／?ｒｅｓ抑ｅｅ??ｃｏｎｉａａｉｅｉ?／?Ｉ??￣￣｜?／Ｓｒａｌｉｅｃａｌｅ?ｒｅｓｏｓｉｒｃｅｓ??３ｘｏｐｙ?ｊｏｂ?ｒｃｓｃｕｒｃｅｓ?Ｎｏｄｅ，．ｌａＲａ＂ｅｒ?＾??ＳｂｒＳａｉｍｄｉ?ｙ?ｒ?ｊ??ｆｔｒｉｎｉｔｊａｌｉｚｅ．??＂?■?■?＜????ｉｉＭｄｅ．＊＇＊?＾ａｒｓｔａｎ??：?ＭＲＡｐｐＭａｓｌｃｒ?—?？？?ＮｏｄｅＭａｎａｇｅｒ??＊？４＾?ｃｔ？ａ？ａｍｅｒ??＾?ｎ－?－???孙：１３８０今?ｐ??１?ｎ？ｄｅ?ｎｉａｎ？｜，￥Ｔ?ｎｕｄｅ??????，￣＾＾＾ｒｅｔｒｉｅｖｅ?ｔａｓｋ?ＪＶＭ?
【参考文献】：
期刊论文
[1]遗传算法优化的SVM在航空发动机磨损故障诊断中的应用[J]. 皮骏,马圣,贺嘉诚,孔庆国,马龙. 润滑与密封. 2018(10)
[2]新型群智能优化算法综述[J]. 林诗洁,董晨,陈明志,张凡,陈景辉. 计算机工程与应用. 2018(12)
[3]Hadoop大数据平台安全问题和解决方案的综述[J]. 陈丽,黄晋,王锐. 计算机系统应用. 2018(01)
[4]DDoS攻击防御技术发展综述[J]. 陈飞,毕小红,王晶晶,刘渊. 网络与信息安全学报. 2017(10)
[5]基于熵的网络异常流量检测研究综述[J]. 李蕊,张路桥,李海峰,刘恺. 计算机系统应用. 2017(06)
[6]云计算中Hadoop技术研究与应用综述[J]. 夏靖波,韦泽鲲,付凯,陈珍. 计算机科学. 2016(11)
[7]Hadoop生态体系安全框架综述[J]. 陈玺,马修军,吕欣. 信息安全研究. 2016(08)
[8]基于熵和SVM多分类器的异常流量检测方法[J]. 朱佳佳,陈佳. 计算机技术与发展. 2016(03)
[9]基于流量和IP熵特性的DDoS攻击检测方法[J]. 杨君刚,王新桐,刘故箐. 计算机应用研究. 2016(04)
[10]大流量下一种基于活跃熵的DDoS攻击检测方法[J]. 张明明,李玉峰,张鹏,孙淼. 计算机应用研究. 2016(07)
博士论文
[1]云环境下DDoS攻防体系及其关键技术研究[D]. 刘孟.南京大学 2016
硕士论文
[1]基于HDFS的云存储系统的实现与优化[D]. 邹振宇.中国科学技术大学 2016
[2]云平台下HDFS HA的研究与实现[D]. 王刚.西北大学 2013
本文编号：2989738
本文链接：https://www.wllwen.com/guanlilunwen/ydhl/2989738.html
