面向Hadoop的安全机制设计

发布时间：2017-04-18 12:11

  本文关键词：面向Hadoop的安全机制设计，由笔耕文化传播整理发布。

【摘要】：近几年,随着信息的爆炸式增长,大数据时代来临,作为海量数据存储与计算的Hadoop技术逐渐成为热门应用,Hadoop是Apache软件基金会旗下的一个开源分布式计算平台,相较于企业传统的通过购买昂贵的、高性能的大型服务器来对大量数据进行处理,Hadoop更具性价比,因为它可以搭建运行在廉价的商用机器集群上,通过分布式数据存储和计算框架来完成对大数据的存储计算。正是因为Hadoop自身所具有的高可靠性、高扩展性、高效性、高容错性等优点,它逐渐成为大企业及研究机构的研究焦点。但随着Hadoop应用的扩大加深,其安全问题也日益凸显,Hadoop在数据存储及数据处理等技术领域存在的不安全因素,让许多亟待使用它的企业望而却步。本文从Hadoop2.0版本中的核心子项目HDFS和YARN入手,分析其在服务过程中的认证和授权机制,对当前所采用的基于Kerberos和基于非对称加密的Token认证机制、传输加密机制、基于Linux/Unix系统自带的访问控制机制进行了详细的分析,归纳这些安全措施在安全性及效率性两方面存在的缺陷,并在此基础上提出了新的安全框架。本文的创新点:1、本文提出将基于PKI的数字证书认证技术代替原有的Kerberos认证,并利用基于非对称加密的公私钥原理设计全新的、更加安全、更加有效的认证令牌。2、将基于数字信封的AES对称加密技术应用到Hadoop2.0安全传输加密中,兼顾了Hadoop数据传输过程中的安全性和效率性。3、针对Hadoop集群多用户、大数据、多线程的服务特点,本文提出了更灵活、更严密的基于角色的自主访问控制机制,并使用ACL技术实现。相比于原有的简单的授权管理,本文所提出的授权管理方案系统开销更小、权限判定更加简洁、授权管理更加严密,并且更加适应Hadoop2.0的安全策略。
【关键词】：大数据 Hadoop Kerberos认证 PKI 授权管理
【学位授予单位】：山东财经大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP393.08
【目录】：

• 摘要5-6
• Abstract6-10
• 第1章 绪论10-15
• 1.1 论文背景10-11
• 1.2 研究意义11-12
• 1.3 国内外研究现状12-14
• 1.4 论文章节安排14
• 小结14-15
• 第2章 分布式数据处理平台Hadoop2.015-24
• 2.1 分布式系统介绍15-16
• 2.2 HDFS框架介绍16-18
• 2.2.1 HDFS的体系结构16-17
• 2.2.2 HDFS的工作原理17-18
• 2.3 YARN框架介绍18-23
• 2.3.1YARN的起源18-19
• 2.3.2 YARN基本组成结构19-21
• 2.3.3 YARN的工作流程21-23
• 小结23-24
• 第3章Hadoop的安全现状24-37
• 3.1 Kerberos认证机制25
• 3.2 HDFS中基于Kerberos和Token的认证过程25-29
• 3.2.1 Client与NameNode的服务认证过程25-27
• 3.2.2 HDFS中Token的生成及Token的认证方式27-29
• 3.3 YARN中基于Kerberos和Token的认证过程29-35
• 3.3.1 YARN MR2 第一个工作流程中的认证29-31
• 3.3.2 YARN中Token的生成及Token的认证方式31-35
• 3.4 Hadoop中的授权机制35-36
• 小结36-37
• 第4章 Hadoop2.0 现有安全框架的缺陷分析37-40
• 4.1 基于Kerberos和Token认证机制的缺陷分析37-39
• 4.2 Hadoop2.0 授权管理的缺陷分析39
• 小结39-40
• 第5章 基于PKI的Hadoop2.0 安全机制设计40-56
• 5.1 PKI及CA数字证书介绍40-42
• 5.2 HDFS中基于PKI和Token的认证过程42-47
• 5.2.1 HDFS认证的初始化42
• 5.2.2 Client在NameNode上进行身份注册与身份注销42-43
• 5.2.3 NameNode与DataNode之间的通信认证过程43-44
• 5.2.4 Client进行文件读过程中的认证与加密过程44-45
• 5.2.5 Client进行文件写过程中的认证与加密过程45-46
• 5.2.6 基于PKI的HDFS Token设计46-47
• 5.3 YARN中基于PKI和Token的认证过程47-54
• 5.3.1 YARN作业流程中基于PKI的安全认证47-49
• 5.3.2 基于PKI的YARN Token设计49-54
• 5.4 基于角色的自主访问控制54-55
• 小结55-56
• 第6章 本文安全设计方案的优势分析56-58
• 6.1 基于PKI的安全认证机制优势分析56-57
• 6.2 基于角色的自主访问控制机制优势分析57
• 小结57-58
• 总结与展望58-60
• 参考文献60-62
• 攻读硕士学位期间取得的学术成果62-63
• 致谢63

【参考文献】

中国期刊全文数据库 前3条

1 邵伟;;基于MapReduce模型的并行计算平台设计[J];计算机光盘软件与应用;2013年09期

2 张克君,金玮,杨炳儒;基于角色的自主访问控制的构建[J];计算机工程;2005年05期

3 封富君;李俊山;;新型网络环境下的访问控制技术[J];软件学报;2007年04期

中国硕士学位论文全文数据库 前2条

1 孙亚楠;安全操作系统自主访问控制机制的研究与实现[D];中国科学院研究生院（软件研究所）;2004年

2 邓自立;云计算中的网络拓扑设计和Hadoop平台研究[D];中国科学技术大学;2009年

  本文关键词：面向Hadoop的安全机制设计，，由笔耕文化传播整理发布。

本文编号：314849