基于Hadoop的云安全存储系统的设计与实现

发布时间：2017-05-31 18:22

  本文关键词：基于Hadoop的云安全存储系统的设计与实现，由笔耕文化传播整理发布。

【摘要】：云计算是分布式计算、并行计算和网格计算的发展,给人类生活、生产方式和商业模式带来根本性改变,是当前全社会关注的热点之一。云存储是从云计算概念上延伸发展出来的一个新的概念,它是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。随着云计算技术与云存储技术的广泛应用,其存在的安全问题不断突显出来,安全问题已成为阻碍云计算和云存储发展的关键因素。 Hadoop是Apache软件基金会下的一个开源分布式计算平台,为开发者提供了一个分布式系统的基础架构,用户可以在不了解分布式系统底层细节的情况下开发分布式应用。分布式文件系统HDFS作为Hadoop的核心组件,具有强大的存储能力,适合作为云存储系统,但是其设计上存在一些缺陷,仍在不断发展之中,存在改进与完善的空间。 本文研究了HDFS多副本存储技术和身份认证技术,针对其中存在的问题提出了改进方法。研究了基于Hadoop的云计算环境下数据存储的安全问题,设计了云安全存储系统,且实现了系统原型。主要工作如下： (1)分析了HDFS多副本存储方案存在的存储效率不高、容易出现负载不均衡的问题,提出了一种基于信息分散法的分布式存储方案,设计了一个改进的文件块存放策略,进行了仿真实验,验证了方案的有效性。 (2)指出了HDFS系统的身份认证存在用户容易被冒充等问题,设计了一个安全有效的一次性口令身份认证方案,使用该认证方案与HDFS身份认证结合的方式来对用户进行身份认证,提高HDFS的安全性。 (3)采用JSP等技术结合HadoopAPI开发了一个基于Hadoop的云安全存储系统,可视化了HDFS的操作界面,实现了文件的加密传输、权限控制、安全共享等,克服了HDFS系统中数据明文传输及存储存在的安全隐患,提高了用户数据的安全性。 论文的创新之处包括：(1)提出一种基于信息分散算法的分布式存储方案,设计的改进的文件块存放策略,改善了HDFS的存储负载均衡能力；(2)设计了一个安全有效的一次性口令身份认证方案,将该口令身份认证方案与HDFS认证相结合来提高HDFS的安全性；(3)设计了基于Hadoop的云安全存储系统,实现了系统原型。
【关键词】：Hadoop 云存储 HDFS 存储策略 身份认证
【学位授予单位】：广东工业大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333;TP309
【目录】：

• 摘要4-6
• ABSTRACT6-8
• 目录8-11
• CONTENTS11-14
• 第一章 绪论14-20
• 1.1 研究背景14-15
• 1.2 国内外研究现状15-18
• 1.2.1 云安全存储现状15-17
• 1.2.2 Hadoop现状17-18
• 1.3 论文主要内容18
• 1.4 本文的结构18-20
• 第二章 Hadoop分布式文件系统20-30
• 2.1 Hadoop云计算平台20-22
• 2.2 HDFS简介22-23
• 2.3 HDFS体系结构23-25
• 2.3.1 HDFS的相关概念23-24
• 2.3.2 HDFS的体系结构24-25
• 2.4 HDFS中的数据流25-28
• 2.4.1 文件的读取25-27
• 2.4.2 文件的写入27-28
• 2.5 HDFS通信协议28-29
• 2.6 本章小结29-30
• 第三章 HDFS多副本存储技术研究30-40
• 3.1 多副本技术30
• 3.2 HDFS多副本存储方案30-32
• 3.2.1 HDFS多副本存储方案31
• 3.2.2 HDFS多副本存储方案的局限性31-32
• 3.3 基于信息分散算法的分布式存储方案32-35
• 3.3.1 信息分散算法32-33
• 3.3.2 改进的副本存放策略33-34
• 3.3.3 改进的副本存放策略的实现34-35
• 3.4 仿真实验结果与分析35-39
• 3.4.1 数据可用性35-37
• 3.4.2 存储效率37
• 3.4.3 负载均衡能力37-39
• 3.5 本章小结39-40
• 第四章 HDFS身份认证技术研究40-45
• 4.1 HDFS身份认证技术分析40-41
• 4.2 一次性口令身份认证方案设计41-44
• 4.2.1 符号与标识41-42
• 4.2.2 注册过程42
• 4.2.3 认证过程42-43
• 4.2.4 修改口令过程43-44
• 4.3 方案安全性分析44
• 4.4 本章小结44-45
• 第五章 云安全存储系统的设计与实现45-62
• 5.1 云安全存储系统架构设计45-48
• 5.1.1 总体架构设计45-46
• 5.1.2 云安全存储系统技术架构46
• 5.1.3 数据库设计46-48
• 5.2 云安全存储系统环境搭建48-51
• 5.2.1 Hadoop集群搭建48-50
• 5.2.2 开发环境搭建50-51
• 5.3 云安全存储系统功能实现51-56
• 5.3.1 云安全存储系统功能列表51
• 5.3.2 文件上传51-53
• 5.3.3 文件下载53-55
• 5.3.4 文件共享55-56
• 5.3.5 留言板56
• 5.3.6 文件的其它操作56
• 5.4 系统原型实现56-60
• 5.5 本章小结60-62
• 第六章 结束语62-64
• 参考文献64-68
• 攻读学位期间所获得的科研成果68-70
• 致谢70

【参考文献】

中国期刊全文数据库 前10条

1 郝杰;逯彦博;刘鑫吉;夏树涛;;分布式存储中的再生码综述[J];重庆邮电大学学报(自然科学版);2013年01期

2 林伟伟;;一种改进的Hadoop数据放置策略[J];华南理工大学学报(自然科学版);2012年01期

3 刘田甜;李超;胡庆成;张桂刚;;云环境下多副本管理综述[J];计算机研究与发展;2011年S3期

4 罗象宏;舒继武;;存储系统中的纠删码研究综述[J];计算机研究与发展;2012年01期

5 李乔;郑啸;;云计算研究现状综述[J];计算机科学;2011年04期

6 李成华;张新访;金海;向文;;MapReduce:新型的分布式并行计算编程模型[J];计算机工程与科学;2011年03期

7 屈志毅;苏文洲;赵玲;;一种基于信息分散算法的分布式数据存储方案[J];计算机应用;2006年05期

8 邓鹏;李枚毅;何诚;;Namenode单点故障解决方案研究[J];计算机工程;2012年21期

9 陈冬晓;王鹏;;基于校验编码备份的分布存储方案[J];计算机应用;2013年01期

10 朱媛媛;王晓京;;基于GE码的HDFS优化方案[J];计算机应用;2013年03期

  本文关键词：基于Hadoop的云安全存储系统的设计与实现，由笔耕文化传播整理发布。

，

本文编号：410314