面向Hadoop大数据处理的访问控制与通信安全性研究

发布时间：2024-04-25 05:56

　　Hadoop是一个开源的云计算平台,而云计算作为一种新的计算模式,是分布式计算、网格计算的延伸,通过将大规模的可利用的有效资源进行整合,把计算资源、存储资源等以服务的形式提供给用户。云计算通过高性能计算、大容量存储等改善了人们的生活,但云安全一直是云计算发展的瓶颈,在很多情况下,系统对安全的要求比计算更重要。本文针对Hadoop为基础的云平台作出以下工作。 首先,本文针对用户与Hadoop云平台进行交互时在公共网络信道上进行数据通信存在不安全等因素的问题提出了基于身份认证与数据认证的混合认证方案。该方案从结构、性能、安全多方位进行了综合考虑与设计。结构方面针对云计算的特点与多方面的综合考虑采用B/S的方式,性能方面根据数据的密级进行分级加密以减少不必要的性能消耗,在安全方面既能保证用户身份的正确性同时也能确认云端接收到的数据的拥有者,保证数据确实来自对应用户。该方案包括了用户身份的认证,密钥的产生、分发、传送、获取,数据的加密、签名、抽样、检验、存储等多个子过程。每一步骤都进行了精心的考虑,使本方案最终能达到方便、高效、安全的通信效果。 其次,针对Hadoop集群中可能出现合法用户对数...

【文章页数】：77 页

【学位级别】：硕士

【部分图文】：

图1.1Hadoop集群示意图

面向Hadoop大数据处理的访问控制与通信安全性研究 算性能、海量存储空间的体验，从而成为当前研究的热点和潮流。但其安全问题也一直伴随、困扰云计算的发展，如何保证用户能够安全使用云计算与云计算是否能够更快的推广、更广泛的使用有直接的关系。有些组织或机构因当前云计算技术不能提供数据....

图2.1HDFS存储架构图

面向Hadoop大数据处理的访问控制与通信安全性研究 2.3.1Hadoop文件系统HDFS采用主从结构，在一个Hadoop集群里有一个NameNode和若干个DataNode。其中NameNode是主服务器，管理文件系统的命名空间和客户端对文件的访问操作，而DataNode的....

图2.2HDFS写文件流程

心跳包周期性地把Block信息发送给主节点。DFS对文件的写入一般分为3个步骤，如下所示。)客户端发起文件写入请求)主节点根据文件大小和文件块的配置情况等信息，返回给客户端它所管节点的信息。)客户端根据主节点反馈回来的信息，把上传数据划分成多个文件块（默B),按照数据节点的地址信....

图2.6Hadoop中Kerberos访问示意图

面向Hadoop大数据处理的访问控制与通信安全性研究会存在数据被偷窥、截获、篡改等可能的破坏行为。因此针对该安全问出的数据加密方法是在客户端进行的。该方式能够保证数据在网上传输，截获数据的黑客由于没有密明不能轻易获得数据的明文。同时为了通信和安全性，需要对用户进行身份认证，只有在....

本文编号：3964110