云存储中数据自主组织与管理方法研究

发布时间：2017-05-13 08:23

  本文关键词：云存储中数据自主组织与管理方法研究，由笔耕文化传播整理发布。

【摘要】：伴随移动通信与网络技术的快速发展,信息量呈爆炸性增长,无论是企业还是个人对存储空间的需求越来越大。在这一趋势下,云存储成为了存储海量数据的主流解决方案。在云存储系统中,用户可将数据上传到云端保存,但云存储管理端拥有用户数据完整的逻辑视图、物理视图及其之间的映射关系,用户丧失了对数据的绝对控制权,数据安全、隐私保护以及由此导致的用户与管理端之间的信任危机也因此产生。针对传统云存储系统中用户隐私和敏感数据的安全保护问题,本文首先提出一种适合数据自主组织与管理的云存储模型ASMM,然后针对该模型实现中的隐私和敏感信息元数据自主可控管理方法、文件自主分块策略以及数据分块的分离存储等关键技术展开研究。在隐私和敏感信息元数据自主可控管理方面,ASMM基于传统云存储中的元数据管理策略,将元数据管理分成客户端元数据管理与中心元数据管理两部分,元数据子服务器自主提取、维护、读写和存储敏感信息的元数据。在映射关系方面采用基于文件与数据块之间冗余随机映射算法提高文件存储的安全性,同时采用按需询问同步策略保障客户端元数据服务器与中心元数据服务器之间数据块到数据存储中心映射关系的一致性,确保整个存储系统的稳定性与可靠性。为提高元数据读写性能并减少元数据子服务器的负载,在平台子客户端引入了缓存机制,并通过直接同步策略和LRU算法保证了缓存系统的一致性。针对隐私和敏感数据分块的存储安全问题,论文首先提出了一种根据隐私和敏感信息文件和客户端属性对文件进行自主分块的算法,优化隐私文件的读写性能。其次,设计了数据块分离算法,将自主分块算法的分块结果集进行二次合并存储,混淆原始分块的数据真实值,并将数据分离过程采用的存储结构同文件元数据一并保存到客户端元数据服务器。ASMM自主管理元数据策略和数据分块存储机制,从文件和数据块两个层面确保隐私和敏感信息的存储安全,改善云存储平台的安全性。在多用户并发访问下,对不同规模数据集的读、写性能的实验测试表明,ASMM在自主管理敏感信息元数据以及分块自主存储前提下,与HDFS、GFS相比仍具有较好读写性能和稳定的数据持久化能力,同时也提高了系统的安全性能。
【关键词】：云存储 数据安全 隐私保护 自主可控 数据分块
【学位授予单位】：广东工业大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333;TP309
【目录】：

• 摘要4-6
• ABSTRACT6-8
• 目录8-10
• CONTENTS10-12
• 第一章 绪论12-19
• 1.1 研究背景及意义12-13
• 1.2 国内外研究现状13-16
• 1.3 论文主要内容16
• 1.4 本文结构16-19
• 第二章 数据自主组织与管理云存储架构19-31
• 2.1 传统云存储数据管理方法研究19-25
• 2.1.1 元数据管理22-23
• 2.1.2 数据分块策略23-25
• 2.2 数据自主组织与管理云存储模型25-30
• 2.2.1 存储模型25-27
• 2.2.2 通信机制27-30
• 2.3 本章小结30-31
• 第三章 隐私和敏感信息元数据自主管理策略31-40
• 3.1 元数据结构设计与提取机制32-35
• 3.1.1 元数据结构32-33
• 3.1.2 元数据提取机制33-35
• 3.2 一致性同步策略35-37
• 3.2.1 CMS与DS一致性同步策略35-36
• 3.2.2 Sub-MS与CMS一致性同步策略36-37
• 3.3 元数据缓存机制37-39
• 3.3.1 缓存一致性37-38
• 3.3.2 ASMM缓存策略38-39
• 3.4 本章小结39-40
• 第四章 文件自主分块分离存储技术40-58
• 4.1 数据分块技术分析40-42
• 4.2 自主分块算法42-49
• 4.2.1 算法框架43-44
• 4.2.2 分块判断算法44-46
• 4.2.3 分块大小计算46-49
• 4.3 数据分离算法49-57
• 4.3.1 数据分离算法模型50
• 4.3.2 LPCA分离与恢复数据过程50-52
• 4.3.3 算法分析52-57
• 4.4 本章小结57-58
• 第五章 实验与结果分析58-66
• 5.1 测试环境58-60
• 5.2 系统原型60-61
• 5.3 性能测试61-65
• 5.4 本章小结65-66
• 结论66-68
• 参考文献68-73
• 攻读硕士学位期间发表的学术论文73-75
• 致谢7

【相似文献】

中国期刊全文数据库 前10条

1 孙继忠;马永强;李玉华;;基于字节指纹极值特征的数据分块算法[J];计算机工程;2010年08期

2 谭明超;刁兴春;曹建军;;实体分辨研究综述[J];计算机科学;2014年04期

3 王永明,林行刚;一种快速DEM生成算法[J];计算机应用与软件;1998年04期

4 郎川萍;杨仁怀;张丽霞;;图书馆大数据处理研究[J];微型电脑应用;2014年04期

5 沈晓丽;吴美华;;海量三维影像数据的处理、存储与发布[J];山西电力;2010年06期

6 于洋洋;虞慧群;范贵生;;一种云存储数据完整性验证方法[J];华东理工大学学报(自然科学版);2013年02期

7 魏永山;张峰;陈欣;韩燕波;孙忠林;;一种云计算环境下的XML查询数据服务的优化方法[J];计算机工程与科学;2013年06期

8 王秀磊;刘鹏;;大数据关键技术[J];中兴通讯技术;2013年04期

9 刘海滨;刘佳明;纪文强;;大数据基础理论与关键技术新观察[J];军民两用技术与产品;2014年04期

10 于灏;应用为王(下)——基于MS SQL Server2000应用的Xeon服务器评测[J];软件世界;2002年09期

中国重要报纸全文数据库 前1条

1 ;迈奔科技移动警务系统+多普达P800[N];中国计算机报;2007年

中国硕士学位论文全文数据库 前10条

1 贾志凯;海量数据消冗系统的研究与实现[D];西安电子科技大学;2011年

2 马长胜;逆向工程中数据分块技术的研究与实现[D];苏州大学;2007年

3 张冬洁;基于MapReduce的关系数据联机分析处理技术研究[D];华中科技大学;2012年

4 游历;云端数据完整性验证和数据恢复机制研究[D];电子科技大学;2013年

5 苏兰;面向云计算的数据完整性检验方法研究与实现[D];电子科技大学;2013年

6 常洞霞;大规模集群上的连接处理与优化[D];华东师范大学;2011年

7 饶平;多格式海量数据统一存取的效率优化[D];东北石油大学;2011年

8 张壮雅;逆向工程中数据分块技术研究[D];河南科技大学;2010年

9 覃国民;云存储中数据自主组织与管理方法研究[D];广东工业大学;2015年

10 杜钢虎;面向PDS数据的检索技术研究[D];国防科学技术大学;2010年

  本文关键词：云存储中数据自主组织与管理方法研究，由笔耕文化传播整理发布。

，

本文编号：362062