基于MapReduce云环境中恶意节点检测技术的研究

发布时间：2022-02-24 00:39

　　互联网信息技术的快速发展,出现了以社交化网络和电子商务为代表的应用,它们拥有庞大的用户群体,对大数据量的处理需求日益增加,云计算技术应运而生。云计算主要使用MapReduce分布式并行处理模型,能够高效地并行处理超大规模数据集,当前主流的云服务提供商都采用MapReduce的开源实现Hadoop来搭建云计算平台。MapReduce计算模型是分布式并行处理架构,注重大数据量的处理性能,而其服务完整性保证机制相对薄弱。在云计算环境中,某个恶意节点产生的恶意结果会导致整个计算任务失败,严重浪费计算和存储资源,并对云计算客户造成损害,所以如何高效、准确地检测出云环境中的恶意节点,对确保云计算服务完整性非常重要。本文研究了云环境中的恶意节点检测技术,提出一种高效的恶意节点检测方案。主要工作如下：首先分析了云计算环境的特点,研究现有的基于MapReduce云环境中服务完整性保证方案,对其优点和不足进行总结分析,详细介绍本方案中使用的相关技术。在此基础上,本论文提出一种高效的恶意节点检测方案。该方案基于对工作节点集群分域管理的思想,对不同安全域采用适合的任务调度策略,合理、高效地使用计算资源；引入可... 

【文章来源】：北京邮电大学北京市211工程院校教育部直属院校

【文章页数】：51 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 研究背景
        1.1.1 选题背景
        1.1.2 研究意义
    1.2 研究现状
    1.3 研究内容
    1.4 论文组织结构
第二章 相关技术和工作
    2.1 MapReduce相关概念
        2.1.1 MapReduce概述
        2.1.2 MapReduce计算模型
    2.2 Apache Hadoop框架
        2.2.1 HDFS分布式文件系统
        2.2.2 Hadoop中MapReduce运行机制
        2.2.3 Hadoop Streaming编程
    2.3 缓存技术介绍
        2.3.1 常见缓存算法
        2.3.2 Memcached缓存框架
    2.4 本章小结
第三章 云环境中恶意节点检测方案
    3.1 计算集群中工作节点分域管理
        3.1.1 环境中计算节点分类
        3.1.2 Hadoop的心跳机制
        3.1.3 计算集群中安全域划分
    3.2 普通域中恶意节点检测方案
        3.2.1 整体架构方案
        3.2.2 恶意节点检测流程
        3.2.3 系统分析
    3.3 可信域中恶意节点检测方案
        3.3.1 整体架构方案
        3.3.2 恶意节点检测流程
        3.3.3 系统分析
    3.4 隔离域中可疑节点的处理
    3.5 本章小结
第四章 系统理论分析
    4.1 任务限时执行分析
    4.2 任务调度策略分析
    4.3 本章小结
第五章 结束语
    5.1 本文工作总结
    5.2 展望
参考文献
致谢
攻读硕士学位期间发表的论文


【参考文献】：
期刊论文
[1]安全等级划分方法研究综述[J]. 周焕盛.  科技传播. 2011(02)
[2]云计算安全研究[J]. 冯登国,张敏,张妍,徐震.  软件学报. 2011(01)
[3]Hadoop平台的性能优化研究[J]. 栾亚建,黄翀民,龚高晟,赵铁柱.  计算机工程. 2010(14)
[4]Google云计算平台的技术架构及对其成本的影响研究[J]. 孙健,贾晓菁.  电信科学. 2010(01)
[5]云计算及其关键技术[J]. 陈全,邓倩妮.  计算机应用. 2009(09)
[6]基于Hadoop集群的分布式日志分析系统研究[J]. 王润华.  科技信息. 2009(15)
[7]MapReduce模型的调度及容错机制研究[J]. 孙广中,肖锋,熊曦.  微电子学与计算机. 2007(09)

硕士论文
[1]改进型MapReduce框架的研究与设计[D]. 常涛.北京邮电大学 2011



本文编号：3641617