基于HDFS安全云存储模型的研究

发布时间：2017-06-06 04:06

  本文关键词：基于HDFS安全云存储模型的研究，由笔耕文化传播整理发布。

【摘要】：由于互联网技术和云服务的发展,网民数量不断增长,使得各种信息也呈现爆炸式的增长。在这样的趋势下,传统的存储服务已经满足不了现在用户的需求。不管是企业还是个人都需要一种新型的存储服务。云存储是云计算概念上发展而来。它是利用网络,分布式文件系统等技术通过软硬件结合的方式将网络中的物理存储连接在一起,并为用户提供标准存储接口,方便用户使用。云存储的发展,促使越来越多的用户将自己的数据迁移到云端存储上,同时关于云存储安全也成为必不可少的关注焦点。当我们的数据迁移到云端,云存储提供商就拥有我们数据的绝对控制权,而我们也失去对数据绝对的控制。HDFS作为Hadoop底层分布式文件系统,是当前云存储构建的主流方案之一。由于利用HDFS部署的云存储平台对数据拥有绝对控制问题,本文对团队提出的自主可控安全云存储模型ASOM (All Self-Organization Model)和HDFS内部实现进行研究。针对HDFS的实现主要分析NameNode管理元数据和管理整个集群方式。通过分析DataNode与NameNode之间的有关数据块交互过程,和NameNode中元数据组织流程,在ASOM中设计并实现了元数据子服务和设备管理服务器。在成功提取分离元数据后,设备管理服务器负责管理整个集群的正常运行,元数据子服务器负责命名空间和文件定位。在数据服务器向设备管理服务器上报数据时,设备管理服务器会根据需要转发信息给元数据子服务器,完成元数据组织。而在整个集群运行过程中元数据子服务器和设备管理服务器又不断进行信息交互,为了在交互过程中防止可能泄露敏感数据,在实现时引入了随机表机制。在这个交互的过程里,本文实现了Co-work算法保证这两个服务器在数据交互时的一致性。Co-Work算法是在锁的基础上通过分析实际场景流程使得两个服务器能保证数据的一致性。同时针对ASOM中小文件对应一个数据块内容的安全问题,进行研究和解决。通过对小文件中数据内容部分细粒度数据加密,不仅保证数据的安全,还可以改进因全部数据加密而导致的效率低下。最后本文对该模型的安全性进行实验,对性能,内存使用进行对比分析,证明用户可以对元数据的进行有效的控制与管理,也证明了云服务提供商平台管理员很难对元数据进行可能的恶意操作而带来的安全隐患。
【关键词】：HDF ASOM 云存储 自主可控 一致性
【学位授予单位】：广东工业大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP333
【目录】：

• 摘要4-6
• ABSTRACT6-14
• 第一章 绪论14-20
• 1.1 研究背景与意义14-16
• 1.2 国内外研究现状16-18
• 1.2.1 云存储安全16-17
• 1.2.2 Hadoop17
• 1.2.3 现状分析17-18
• 1.3 研究内容及主要工作18
• 1.4 论文结构安排18-20
• 第二章 相关技术20-33
• 2.1 五种存储模型20-21
• 2.2 Hadoop云计算平台21-23
• 2.3 HDFS23-30
• 2.3.1 相关术语23-24
• 2.3.2 部分技术24-25
• 2.3.3 HDFS体系结构与主要流程25-30
• 2.4 一致性介绍30-31
• 2.5 加密技术介绍31-32
• 2.6 本章小结32-33
• 第三章 自主可控安全管理云存储模型33-45
• 3.1 相关术语33
• 3.2 Hadoop1.2.1身份认证与内部实现33-37
• 3.2.1 身份认证33-35
• 3.2.2 内部实现35-37
• 3.3 ASMM模型描述37-39
• 3.4 ASOM模型39-44
• 3.4.1 ASOM整体流程40-41
• 3.4.2 以读写操作说明ASOM内部流程41-43
• 3.4.3 对比分析43-44
• 3.5 本章小结44-45
• 第四章 ASOM模型实现45-60
• 4.1 MDSS端元数据管理和操作45-48
• 4.2 DMS端数据处理48-50
• 4.3 一致性算法实现50-56
• 4.3.1 情景引入50-52
• 4.3.2 传统方法实现52
• 4.3.3 传统方法问题分析52-53
• 4.3.4 cowork算法53
• 4.3.5 算法分析53-54
• 4.3.6 行为一致性54-56
• 4.4 数据块的安全研究56-59
• 4.4.1 HDFS读写数据块过程56-57
• 4.4.2 数据块部分加密实现57-59
• 4.5 本章小结59-60
• 第五章 实验设计和结果分析60-70
• 5.1 实验环境60-61
• 5.2 系统原型61-62
• 5.3 安全性测试和分析62-66
• 5.3.1 测试62-65
• 5.3.2 安全分析65-66
• 5.4 性能测试66-68
• 5.5 内存需求测试68-69
• 5.6 本章小结69-70
• 总结和展望70-72
• 参考文献72-76
• 攻读硕士学位期间发表的学术论文76-78
• 致谢78-79

【相似文献】

中国期刊全文数据库 前8条

1 徐俊;王庆华;赵云龙;;基于改进HDFS的冠字号小文件分布式存储研究[J];电脑知识与技术;2014年17期

2 徐艺境;栾钟治;钱德沛;管刚;谢明;;HDFS集群中功率预测控制策略的设计与分析[J];计算机科学与探索;2013年05期

3 曹宁;吴中海;刘宏志;张齐勋;;HDFS下载效率的优化[J];计算机应用;2010年08期

4 王永洲;茅苏;;HDFS中的一种数据放置策略[J];计算机技术与发展;2013年05期

5 彭仁通;;Hadoop的核心技术研究或概述[J];科技广场;2012年05期

6 蒋苏蓉;蓝江桥;杨玉海;;Hadoop框架下的情报分析大数据调度超时预测方法[J];计算机科学;2014年S1期

7 陈薇;杨昕;;基于HDFS的云存储安全技术分析[J];计算机光盘软件与应用;2014年08期

8 ;[J];;年期

中国硕士学位论文全文数据库 前6条

1 霍振奇;基于HDFS的创新知识存储及分发架构的研究与设计[D];河北工业大学;2015年

2 袁国伟;HDFS高可用性方案的研究与设计[D];杭州电子科技大学;2015年

3 黄健;基于HDFS安全云存储模型的研究[D];广东工业大学;2016年

4 李梦楠;基于HDFS的名字节点的性能优化技术研究[D];沈阳工业大学;2015年

5 储雅;基于HDFS的气象云存储的副本管理策略研究[D];南京信息工程大学;2014年

6 韩佩;HDFS高可用性方案的研究与优化[D];西北大学;2013年

  本文关键词：基于HDFS安全云存储模型的研究，，由笔耕文化传播整理发布。

本文编号：425325