一种基于重复数据删除技术的云中云存储系统

发布时间：2018-03-15 00:02

  本文选题：云中云　切入点：重复数据删除　出处：《计算机研究与发展》2015年06期 　论文类型：期刊论文

【摘要】：随着云存储技术的快速发展和应用,越来越多的企业和用户都开始将数据从本地转移到云存储服务提供商进行存储.但是,在享受云存储高质量服务的同时,将数据仅仅存储于单个云存储服务商中会带来一定的风险,例如云存储服务提供商的垄断、数据可用性和安全性等问题.为了解决这个问题,提出了一种基于重复数据删除技术的云中云存储系统架构,首先消除云存储系统中的冗余数据量,然后基于重复数据删除集中的数据块引用率将数据块以复制和纠删码2种数据布局方式存储在多个云存储服务提供商中.基于复制的数据布局方式易于实现部署,但是存储开销大;基于纠删码的数据布局方式存储开销小,但是需要编码和解码,计算开销大.为了充分挖掘复制和纠删码数据布局的优点并结合重复数据删除技术中数据引用的特点,新方法用复制方式存储高引用数据块,用纠删码方式存储其他数据块,从而使系统整体性能和成本达到较优.通过原型系统的实现和测试验证了相比现有云中云存储策略,新方法在性能和成本上都有大幅度提高.
[Abstract]:With the rapid development and application of cloud storage technology, more and more enterprises and users begin to transfer data from local to cloud storage service providers for storage. Storing data in a single cloud storage service provider poses certain risks, such as the monopoly of cloud storage service providers, data availability, and security. In this paper, a cloud storage system architecture based on repeated data deletion technology is proposed. Firstly, the redundant data in cloud storage system is eliminated. Then the data blocks are stored in multiple cloud storage service providers by replication and erasure code based on the data block reference rate in the duplicate data delete set. The data layout based on replication is easy to deploy. However, the storage overhead is large; the data layout based on erasure code has less storage overhead, but it requires encoding and decoding. In order to fully exploit the advantages of replication and erasure code data layout and combine the characteristics of data reference in repeated data deletion technology, the new method stores high reference data blocks by replication and other data blocks by erasure code. Through the implementation and test of the prototype system, the performance and cost of the new method are greatly improved compared with the existing cloud storage strategy.
【作者单位】： 厦门大学软件学院;厦门大学信息科学与技术学院计算机科学系;高效能服务器和存储技术国家重点实验室(山东海量信息技术研究院);
【基金】：国家自然科学基金项目(61472336,61402385) 国家科技支撑计划基金项目(2015BAH16F02) 教育部留学回国人员科研启动基金 高效能服务器和存储技术国家重点实验室开放课题(2014HSSA04) 中央高校基本科研业务费专项资金项目(20720140515)
【分类号】：TP333

【参考文献】

相关期刊论文 前2条

1 付印金;肖侬;刘芳;;重复数据删除关键技术研究进展[J];计算机研究与发展;2012年01期

2 王意洁;孙伟东;周松;裴晓强;李小勇;;云计算环境下的分布存储关键技术[J];软件学报;2012年04期

【共引文献】

相关期刊论文 前10条

1 钟德荣;蒋园园;张恺乐;王智泉;;基于云计算的全球眼视频监控系统的设计与实现[J];计算机光盘软件与应用;2012年20期

2 宋秀丽;陈龙;肖敏;;云存储中支持XOR旋转编码的可恢复性验证方案[J];重庆邮电大学学报(自然科学版);2012年06期

3 王永;李敏;张勤;;云计算模式下合同协同拟定模型研究[J];重庆邮电大学学报(自然科学版);2012年06期

4 陈崇成;林剑峰;吴小竹;巫建伟;连惠群;;基于NoSQL的海量空间数据云存储与服务方法[J];地球信息科学学报;2013年02期

5 谢垂益;钟红君;;Rabin指纹算法在重复数据检测中的应用研究[J];电脑知识与技术;2013年21期

6 饶庆云;丁晶晶;苏乐乐;谷永权;夏良晖;胡中南;;基于云计算的分布式切图服务设计与实现[J];测绘与空间地理信息;2013年S1期

7 范真荣;;基于云计算的企业XBRL跨平台协同管理研究[J];财会通讯;2013年25期

8 郭翠云;;云计算环境下的分布存储关键技术分析[J];硅谷;2013年16期

9 万武南;王拓;索望;;一种三容错数据布局[J];电子与信息学报;2013年10期

10 张志杰;何利力;;烟草工业数据灾备中重复数据删除技术研究[J];工业控制计算机;2013年12期

相关会议论文 前4条

1 司炜;;IT支撑系统云计算资源池实现研究[A];2013年中国通信学会信息通信网络技术委员会年会论文集[C];2013年

2 陈玉龙;王丹平;方晓群;;工业视频监控系统在丰山铜矿的应用和发展[A];第三届全国数字矿山高新技术成果交流会论文集[C];2014年

3 司炜;;IT支撑系统云计算资源池实现研究[A];中国通信学会信息通信网络技术委员会2013年年会论文集[C];2013年

4 田原;王营康;肖达;杨榆;;云存储系统中的存储与数据拆分方案[A];第十九届全国青年通信学术年会论文集[C];2014年

相关博士学位论文 前10条

1 陈震;黑龙江省森工林区“智慧林业”框架应用技术研究[D];东北林业大学;2012年

2 肖宜龙;随机化数据冗余方法及其在存储系统中的应用[D];电子科技大学;2013年

3 蒋海波;海量数据存储系统的高可靠性关键技术研究与应用[D];电子科技大学;2013年

4 黄震;大规模分布式存储系统中数据冗余技术研究[D];国防科学技术大学;2012年

5 夏纯中;云存储多数据中心QoS保障机制研究[D];江苏大学;2014年

6 龙赛琴;云存储系统中的数据布局策略研究[D];华南理工大学;2014年

7 王继彬;磁盘阵列快速重构，，扩容及性能优化研究[D];华中科技大学;2013年

8 姜久雷;云计算环境下跨组织业务流程建模方法研究[D];东华大学;2014年

9 马莉;云计算环境下煤矿应急管理关键技术研究[D];西安科技大学;2014年

10 朱李楠;云制造环境下资源建模及其匹配方法研究[D];浙江工业大学;2014年

相关硕士学位论文 前10条

1 张航;文件同步服务中数据同步传输消重策略研究[D];国防科学技术大学;2011年

2 蔡博;基于MBasedSWC-Varsize算法的重复数据消除技术研究[D];电子科技大学;2012年

3 魏伟;一种基于laaS的模式的管理系统的设计与实现[D];复旦大学;2012年

4 孙春菊;云环境下数据模型和索引技术研究[D];南京邮电大学;2013年

5 田怡萌;BlueOcean海量存储系统Windows客户端设计与实现[D];上海交通大学;2013年

6 方旋;云计算在土地利用规划信息系统中的应用研究[D];浙江大学;2013年

7 田晓艳;云环境下高考视频监控数据管理技术研究[D];山东师范大学;2013年

8 吴永发;面向终端应用的云存储系统研究与设计[D];广东工业大学;2013年

9 谌侃;用户数据融合云计算存储方案研究[D];北京邮电大学;2013年

10 许维龙;基于HDFS的数据备份系统的分析与设计[D];北京邮电大学;2013年

【二级参考文献】

相关期刊论文 前2条

1 陈康;郑纬民;;云计算:系统实例与研究现状[J];软件学报;2009年05期

2 敖莉;舒继武;李明强;;重复数据删除技术[J];软件学报;2010年05期

【相似文献】

相关期刊论文 前10条

1 卢敏;;“零距离”重复数据删除[J];软件世界;2008年11期

2 卢敏;;点亮“重复数据删除”[J];软件世界;2008年06期

3 徐立洋;;选购重复数据删除方案 软硬兼施剔除鸡肋数据[J];中国计算机用户;2009年08期

4 邢延刚;;删除重复值我有妙法[J];电脑迷;2009年09期

5 李刚;;重复数据删除走向“源头”[J];中国计算机用户;2009年16期

6 敖莉;舒继武;李明强;;重复数据删除技术[J];软件学报;2010年05期

7 王树鹏;;重复数据删除技术的发展及应用[J];中兴通讯技术;2010年05期

8 倪显利;;重复数据删除技术的应用与实践[J];中国金融电脑;2011年05期

9 付印金;肖侬;刘芳;;重复数据删除关键技术研究进展[J];计算机研究与发展;2012年01期

10 拜路;;重复数据删除技术分析及其对存储系统性能的影响[J];电脑编程技巧与维护;2012年06期

相关会议论文 前3条

1 贾志凯;王树鹏;陈光达;彭成;;一种并行层次化的重复数据删除技术[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

2 杨廷梧;;基于重复数据删除的靶场试验信息存储技术[A];2009年西部光子学学术会议论文摘要集[C];2009年

3 肖钧;黄亮;;虚拟化搭配去重,双剑合璧更给力[A];2011年CAD/CAM学术交流会议论文集[C];2011年

相关重要报纸文章 前10条

1 本报记者 郭涛;基于硬件的重复数据删除效率更高[N];中国计算机报;2009年

2 朱皎;重复数据删除技术渐成主流[N];电脑商报;2009年

3 邢小萍;重复数据删除技术渐入佳境[N];网络世界;2009年

4 郭涛;重复数据删除比越大越好吗？[N];中国计算机报;2007年

5 中国传媒大学计算机学院 朱立谷;重复数据删除：改写存储行业经济规则？[N];中国计算机报;2007年

6 刘学习;删除重复数据[N];计算机世界;2006年

7 张群英;重复数据删除技术异军突起[N];网络世界;2006年

8 张峰;重复数据删除 难走的平衡木[N];网络世界;2007年

9 王s

本文编号：1613506