基于Hadoop可公共审计云存储的设计与实现

发布时间：2017-03-24 08:04

  本文关键词：基于Hadoop可公共审计云存储的设计与实现，，由笔耕文化传播整理发布。

【摘要】：随着Web2.0的不断发展,尤其是近年来移动互联网、电子商务和物联网的爆炸式的发展,互联网进入了一个全新“云计算”时代。云存储是伴随云计算发展而出现的,拥有广阔的发展前景。但是当越来越多的数据被上传到云存储,而云存储无法保证数据百分之百安全的时候,用户就会需要一种有效的手段来监控数据在云存储上的安全。为了解决这个问题,本文提出了一种基于Hadoop的可公共审计的云存储系统,该系统可以被第三方的机构所审计,让用户在没有本地备份文件的情况下,了解在云存储中存储的文件是不是完整的。本文首先对相关技术进行了技术调研,全面分析了分布式存储系统HDFS和公共审计模型,提出了HDFS系统小文件处理问题和公共审计模型跨平台问题的解决方案。本文中提出的基于Hadoop的可公共审计云存储系统被设计成由三个子系统组成,分别是云存储系统、第三方审计者和客户端。为了降低子系统之间的耦合度,提高系统自身的可扩展性,每个子系统都采用了REST风格架构。另外还引入了消息队列机制,使系统有了异步特性,提高了系统的整体性能。除此之外,本系统在借鉴“云计算”理念的基础之上,还创新性地提出了数据完整性验证服务这个概念。其创新之处在于,数据的验证对用户来说完全的透明,可以不受时间和空间的限制,另外也是最重要的一点,用户可以随需使用本系统提供的数据完整性验证服务。通过对系统的分析和测试表明本本基于Hadoop的可公共审计云存储系统结构完善,功能清晰,能够有效验证数据在云存储中的完整性。
【关键词】：Hadoop 数据完整性验证 公共审计 云存储
【学位授予单位】：大连理工大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333
【目录】：

• 摘要4-5
• Abstract5-9
• 1 绪论9-13
• 1.1 研究背景9-10
• 1.2 云存储现状分析10-11
• 1.3 主要内容11
• 1.4 本文结构11-13
• 2 相关技术研究13-24
• 2.1 HDFS系统13-17
• 2.1.1 HDFS的设计目标13-14
• 2.1.2 HDFS的体系结构14-15
• 2.1.3 HDFS文件读取流程15
• 2.1.4 HDFS文件写入流程15-16
• 2.1.5 HDFS优劣分析16-17
• 2.2 公共审计模型17-21
• 2.2.1 模型结构17-18
• 2.2.2 Merkle Hash Tree介绍18-19
• 2.2.3 数据完整性验证算法19-20
• 2.2.4 模型分析20-21
• 2.3 REST架构风格21-22
• 2.3.1 REST架构风格的特征21-22
• 2.3.2 REST架构风格的优势22
• 2.4 Open Authorization22-24
• 3 系统分析24-27
• 3.1 需求分析24-25
• 3.2 现有模型存在的问题25
• 3.3 系统设计思路25-27
• 4 系统概要设计27-36
• 4.1 云存储系统概要设计27-33
• 4.1.1 云存储系统结构27-29
• 4.1.2 完整性检验支持29
• 4.1.3 小文件处理优化29-32
• 4.1.4 高并发访问和消息队列32-33
• 4.2 第三方审计者概要设计33-36
• 4.2.1 第三方审计者的系统结构33-34
• 4.2.2 完整性检验支持34-35
• 4.2.3 存储失信度评价设计35
• 4.2.4 挑战信息发送设计35-36
• 5 系统详细设计36-50
• 5.1 OAuth功能详细设计36-38
• 5.2 文件上传功能的详细设计38-41
• 5.2.1 文件上传流程设计38-39
• 5.2.2 小文件优化设计39-41
• 5.3 文件下载功能的详细设计41-42
• 5.4 文件完整性验证功能的详细设计42-45
• 5.4.1 信息准备阶段42-44
• 5.4.2 数据完整性验证阶段44-45
• 5.5 数据库表设计45-50
• 5.5.1 数据库概念结构设计45-46
• 5.5.2 数据库逻辑结构设计46-50
• 6 系统实现和测试50-59
• 6.1 系统实现50-56
• 6.1.1 文件操作和管理模块的实现50-51
• 6.1.2 完整性验证模块的实现51-52
• 6.1.3 OAuth模块的实现52
• 6.1.4 REST API的实现52-54
• 6.1.5 Web页面的实现54-56
• 6.2 系统测试56-59
• 6.2.1 系统测试简介56-57
• 6.2.2 黑盒测试用例设计57-58
• 6.2.3 测试总结58-59
• 结论59-60
• 参考文献60-62
• 致谢62-63

【参考文献】

中国硕士学位论文全文数据库 前1条

1 李慧莹;基于HDFS的小文件存储方法的研究与优化[D];西安电子科技大学;2014年

  本文关键词：基于Hadoop可公共审计云存储的设计与实现，由笔耕文化传播整理发布。

本文编号：265299