云存储中数据完整性验证及去重技术研究

发布时间：2017-04-10 23:42

  本文关键词：云存储中数据完整性验证及去重技术研究，由笔耕文化传播整理发布。

【摘要】：随着云计算技术的高速发展,云存储的应用也日益广泛,越来越多的企业和个人选择将数据存储到云存储系统上。云存储在被用户广泛接受的同时,云存储中的数据完整性验证、数据去重技术一直都是学术和企业界关注的焦点问题。数据的完整性是云存储服务对用户最基本的服务保证,同时,为了节省存储空间和提高处理数据的效率,云存储服务提供商亟待于设计出一种高效的数据去重方案。本文以云存储中的数据完整性验证和数据去重技术为研究目标,对云存储中的数据完整性验证方法和云存储中数据去重技术进行了详细的研究和深入的探索。保证用户的数据完整性是对云存储系统最基本的要求,为了给用户提供数据存储和使用的完整性保障,需要对数据在传输和使用过程中进行完整性验证。本文以基于Hadoop分布式文件存储系统(HDFS)搭建的云存储系统为研究载体,对云存储中的数据完整性验证机制进行探索与研究,提出了一种基于RSA并结合同态验证技术的数据完整性验证方法。该数据完整性验证方法的计算拥有更小的时间复杂度、支持动态更改的数据完整性验证、支持公开验证,并且可防止泄露被验证的数据。然后,对本文提出来的数据完整性验证方法的可行性与鲁棒性给予了证明。随着用户的数据量的增长,需要更大的存储空间来存储用户日益剧增的数据；云存储系统中数据量在不断地增长的同时,处理数据所需的时间也随着增长。因此对云存储中的数据去重是一个非常必要的手段。对云存储中的数据进行去重,不仅能够提高云存储的空间利用率,而且可以提高数据处理的效率。本文针对云存储数据分布的特点,从数据指纹索引优化的角度来研究,提出了一种基于相似性的数据块级去重方法。该数据去重方法利用文件特征指纹和数据块指纹构建两级索引,可以极大地提高指纹索引效率。并且,该数据去重方法可以在多个用户的同类文件之间进行数据块去重,在很大程度上提高了存储空间的利用率和对数据的处理效率。最后,本文从数据去重率、系统吞吐率和内存占用率三个方面来进行实验,实验结果表明本文提出的数据去重方法表现出优异的性能。
【关键词】：云存储 数据完整性验证 数据去重技术
【学位授予单位】：广东工业大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333
【目录】：

• 摘要4-5
• ABSTRACT5-7
• 目录7-10
• CONTENTS10-13
• 第一章 绪论13-17
• 1.1 课题研究背景13-14
• 1.2 云存储简介14-15
• 1.3 论文研究的主要内容和创新点15-16
• 1.4 论文结构及内容安排16-17
• 第二章 云存储基础研究17-23
• 2.1 国内外研究现状17-18
• 2.2 云存储系统结构模型18-19
• 2.3 基于HDFS的云存储系统19-22
• 2.3.1 Hadoop简介19-20
• 2.3.2 HDFS20-22
• 2.3.3 MapReduce22
• 2.4 本章小结22-23
• 第三章 典型的数据完整性验证方法23-32
• 3.1 数据完整性验证技术的理论基础23-27
• 3.1.1 Hash函数23-25
• 3.1.2 纠错码25-26
• 3.1.3 RSA算法26
• 3.1.4 同态验证26-27
• 3.2 典型的数据完整性验证方法27-31
• 3.2.1 PDP27-29
• 3.2.2 POR29
• 3.2.3 MHT29-31
• 3.3 本章小结31-32
• 第四章 云存储中数据完整性验证方法32-38
• 4.1 云存储系统的第三方可信模型32-33
• 4.2 云存储中数据完整性验证方法介绍33-34
• 4.2.1 基础知识介绍33
• 4.2.2 云存储中数据完整性验证的实现描述33-34
• 4.3 云存储中数据完整性验证方法的可行性与鲁棒性34-36
• 4.3.1 可行性证明35
• 4.3.2 鲁棒性证明35-36
• 4.4 网络与存储开销分析36
• 4.5 本章小结36-38
• 第五章 云存储中的数据去重38-47
• 5.1 数据去重概述38-40
• 5.1.1 数据去重的特点38
• 5.1.2 传统的数据去重过程38-39
• 5.1.3 数据去重方法分类39-40
• 5.2 数据指纹40-41
• 5.3 索引优化技术41-42
• 5.3.1 基于局部性的优化41
• 5.3.2 基于相似性的优化41-42
• 5.4 云存储中基于相似性的数据去重方案42-46
• 5.4.1 系统主要模块42-44
• 5.4.2 基于相似性的两级索引44-45
• 5.4.3 数据块去重过程45-46
• 5.5 本章小结46-47
• 第六章 性能测试与分析47-51
• 6.1 测试环境47-48
• 6.2 实验测试结果与分析48-50
• 6.2.1 数据去重率48-49
• 6.2.2 系统吞吐率49-50
• 6.2.3 内存占用率50
• 6.3 本章小结50-51
• 总结与展望51-52
• 参考文献52-55
• 攻读学位期间发表的论文55-57
• 致谢5

【相似文献】

中国期刊全文数据库 前9条

1 刘婷婷;赵勇;;一种隐私保护的多副本完整性验证方案[J];计算机工程;2013年07期

2 郑军;杨显;;西门子PLC与颇尔FFS02/FFSXC完整性验证仪之间的通讯[J];机电信息;2011年20期

3 杨平平;杜小勇;王洁萍;;DAS模式下基于密文分组索引的完整性验证[J];计算机科学与探索;2010年05期

4 韩卓;冉晓e，

本文编号：297822