基于文件访问模式的重复数据删除方法研究

发布时间：2019-11-21 13:22

【摘要】：随着移动互联网设备的日益普及，移动设备间的数据同步、保护和信息分享的需求越来越迫切。因此最近几年各大公司纷纷推出个人云存储服务。在实际应用中，同步速度越快，用户数据实际存储的空间越小，就越容易让用户满意。因此存储容量优化有着非常重要的作用，对于用户能减少上传的数据量，加快同步速度。对于服务提供商，可以减少存储空间，降低成本。 但传统的存储容量优化技术比如：传统的无损压缩算法、delta压缩算法都有自己的局限性，不能提供很高的压缩比例。能够获得更高压缩比例的重复数据删除技术是一种新型的存储容量优化技术，它通过指纹识别内容相同的数据块，最终只存储一份，将其它相同块替换为空间更节省的索引。但是重复数据删除会给系统带来影响，如计算、索引瓶颈、数据可靠性和可读性问题等。 为了尽可能减少重复数据删除给系统带来的影响，采用了根据文件访问模式分类，对不同类的文件使用不同的冗余数据删除策略：对于个人修改的文件，让相邻版本进行delta压缩，只需要存储变化的部分；对于个人新建或从其它地方拷贝的文件，进行全局文件级重复数据删除。设计并实现了一个同步模块，并且实现了相关策略。测试结果表明，，该策略可以减少用户同步时间和数据实际存储容量，并且让系统开销在可接受的范围内。
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2013
【分类号】：TP333

【共引文献】

相关期刊论文 前10条

1 王文龙;李建中;;一种有效的在不确定图数据库中挖掘频繁子图模式的MUSIC算法[J];智能计算机与应用;2013年05期

2 俞冶;金逸超;尹丽英;;基于Bloom Filter的云内容路由优化[J];电子科技;2013年11期

3 赵通;严伟;李晓明;;DART:一种利用有向天线并适用于高速移动的自组织无线网络路由算法[J];电子学报;2014年01期

4 刘元珍;;Bloom Filter及其在网络中的应用综述[J];计算机应用与软件;2013年09期

5 杨广文;姜进磊;黄小猛;;云中数据管理:系统与实践[J];科研信息化技术与应用;2012年06期

6 沈悦;郭龙江;李金宝;;移动传感网中基于密度和距离的概率广播算法[J];计算机研究与发展;2014年01期

7 孟海燕;徐兵;李京;;基于Swift的可去重校园云存储系统的设计与实现[J];科研信息化技术与应用;2013年04期

8 景会成;张建伟;;基于布鲁姆过滤器的RFID中间件数据过滤算法设计[J];河北联合大学学报(自然科学版);2014年01期

9 赵文栋;田畅;彭来献;;CBSD:一种基于Chord的模糊服务发现方法[J];计算机科学;2014年01期

10 刘厚贵;邢晶;霍志刚;安学军;;一种支持海量数据备份的可扩展分布式重复数据删除系统[J];计算机研究与发展;2013年S2期

相关博士学位论文 前6条

1 朱素霞;面向多核处理器确定性重演的内存竞争记录机制研究[D];哈尔滨工业大学;2013年

2 卿苏德;网络虚拟化映射算法研究[D];北京邮电大学;2013年

3 左震;光纤骨干网实时流测量关键技术研究[D];国防科学技术大学;2012年

4 伍江江;面向服务应急响应的数据保护关键技术研究[D];国防科学技术大学;2012年

5 阿亚德;加密云数据的高效检索研究[D];华中科技大学;2013年

6 Ayad Ibrahim Abdulsada;[D];华中科技大学;2013年

相关硕士学位论文 前10条

1 刘泓;面向外包服务的关联规则挖掘隐私保护方法研究[D];重庆大学;2013年

2 张跃欣;无线Mesh网络对密钥建立方案研究[D];福建师范大学;2013年

3 王宜青;高速IP网络流量测量技术研究[D];解放军信息工程大学;2013年

4 庞景月;滑动窗口模型下的数据流自适应异常检测方法研究[D];哈尔滨工业大学;2013年

5 张志超;基于Hadoop的双语语料采集系统[D];哈尔滨工业大学;2013年

6 王文龙;一种高效的不确定图数据库上频繁子图模式挖掘算法[D];哈尔滨工业大学;2013年

7 贾荣来;网络音视频数据捕获与还原技术研究[D];哈尔滨工业大学;2012年

8 王文胜;基于集群计算的网络信息采集系统的设计与实现[D];哈尔滨工业大学;2012年

9 王蒙蒙;基于数据消冗技术的大数据加密算法研究[D];华北水利水电大学;2013年

10 陈佳;动态自适应的资源采集系统的设计与实现[D];华南理工大学;2013年

本文编号：2564025