面向移动终端的数据去重研究

发布时间：2017-05-22 08:38

  本文关键词：面向移动终端的数据去重研究，由笔耕文化传播整理发布。

【摘要】：在信息社会高速发展的时期,移动互联网快速发展,加上个人云存储等以个人云为基础的服务快速兴起,推动了数据云同步和云存储业务的增长,使得网络数据信息量呈现爆炸式增长形势,给网络存储空间和网络带宽带来了巨大的压力,尤其是在移动互联网领域,问题则更为明显。众所周知,移动终端存储空间相对较小,并且移动互联网的接入网络如蜂窝网的成本相对较高,所以,面向移动终端的数据云服务对存储空间和网络带宽有着更高的要求,如何减少冗余数据的传输和存储就显得至关重要。 重复数据删除技术(Data De-duplication Technology)通过删除数据存储系统中相同的文件或相同的文件数据块,只保留重复文件或重复数据块的一个备份,以达到消除数据冗余并缩减网络存储空间的目的,同时提升了网络带宽的利用率。根据文件数据去重的粒度重复数据删除技术可分为文件级别的重复数据删除技术、数据块级别的重复数据删除技术和数据对象级别的重复数据删除技术。目前重复数据删除技术已经应用于数据备份和存储系统中,大幅减少了数据冗余,提高了存储空间的有效利用率。但是,由于移动互联网接入网络和移动终端内存小等一系列局限性,重复数据删除技术并没有在移动互联网领域得到广泛应用。虽然在移动互联网领域也出现了部分应用重复数据删除技术的实例,但是该类应用仍然有很多不足之处可以得到改进。比如以Dropbox为代表的基于个人云服务的应用采用了以定长切分算法(FSP)为基础的数据块级别的重复数据删除算法,此方法虽然简单有效,但是对于增加数据和删除数据的操作敏感性太高,从而影响了数据去重率。 本文提出将多种重复数据删除技术应用于移动互联网领域,以数据去重率和移动终端设备性能损耗两方面作为主要衡量标准,面向移动互联平台对重复数据删除算法进行深入的研究和优化。主要完成了以下两方面工作：第一,结合移动互联网在移动终端性能和网络接入等多方面的限制,综合数据去重率和机器开销两方面因素,选取适用于移动互联网的最优重复数据删除算法进行深入研究和优化；第二,采集多种类型的文件作为样本,对移动互联平台的最优重复数据删除算法的数据块切分算法选择和数据块切分粒度设置方面进行了优化和实验验证,为重复数据删除技术在面向移动互联网平台的云同步和云存储领域的应用提供依据,同时设计了面向PC、移动设备和云服务器的三端重复数据删除云存储和云同步系统。
【关键词】：移动终端 重复数据删除 CDC可变分块算法 数据指纹计算算法 数据块切分粒度设置
【学位授予单位】：山东大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333
【目录】：

• CONTENTS6-8
• 中文摘要8-10
• ABSTRACT10-12
• 第一章 绪论12-17
• 1.1 选题背景与研究意义12-13
• 1.2 国内外研究现状13-15
• 1.3 本文的主要工作15
• 1.4 本文的组织结构15-17
• 第二章 重复数据删除技术相关知识介绍17-24
• 2.1 重复数据删除技术简介17-18
• 2.2 文件级重复数据删除技术18
• 2.3 数据对象级重复数据删除技术18-19
• 2.4 数据块级重复数据删除技术19-22
• 2.4.1 FSP固定分块重复数据删除算法19-20
• 2.4.2 CDC可变分块重复数据删除算法20-21
• 2.4.3 基于滑动块技术的重复数据删除算法21-22
• 2.5 本章小节22-24
• 第三章 面向移动终端的重复数据删除算法研究24-34
• 3.1 引言24
• 3.2 面向移动终端的重复数据删除算法分析24-26
• 3.3 面向移动终端的最优重复数据删除算法选择26-29
• 3.4 面向移动终端的CDC重复数据删除算法研究29-32
• 3.4.1 基于内容的文件数据块切分算法29
• 3.4.2 Fingerprint数据指纹算法和特征值计算算法研究29-31
• 3.4.3 文件切分粒度研究31-32
• 3.4.4 基于CDC的重复数据删除算法优化32
• 3.5 本章小节32-34
• 第四章 面向移动终端的重复数据删除算法实现34-41
• 4.1 引言34
• 4.2 实验目的和实验环境34-35
• 4.2.1 实验目的34
• 4.2.2 实验环境34-35
• 4.3 算法实现35-36
• 4.4 结果分析36-39
• 4.4.1 数据指纹值计算方法验证36-38
• 4.4.2 数据块切分粒度实验验证38-39
• 4.5 本章小节39-41
• 第五章 基于重复数据删除的个人云同步应用客户端设计41-50
• 5.1 引言41
• 5.2 系统整体框架41-43
• 5.3 文件数据变化时Delta信息的生成43-44
• 5.3.1 本地文件数据变化的Delta信息产生43
• 5.3.2 云端文件数据变化的Delta信息产生43-44
• 5.4 基于数据块的重复数据系统核心机制44-45
• 5.5 同步机制的设计45-48
• 5.5.1 同步状态机设计45-46
• 5.5.2 线程池管理46
• 5.5.3 冲突判断和处理46-48
• 5.6 系统设计原则48-49
• 5.7 本章小节49-50
• 第六章 结论与展望50-52
• 6.1 结论50
• 6.2 展望50-52
• 参考文献52-56
• 致谢56-57
• 攻读学位期间发表的学术论文和参加科研情况57-58
• 学位论文评阅及答辩情况表58

【参考文献】

中国期刊全文数据库 前10条

1 谢垂益;钟红君;;Rabin指纹算法在重复数据检测中的应用研究[J];电脑知识与技术;2013年21期

2 付印金;肖侬;刘芳;;重复数据删除关键技术研究进展[J];计算机研究与发展;2012年01期

3 罗军舟;吴文甲;杨明;;移动互联网:终端、网络与服务[J];计算机学报;2011年11期

4 崔兴华;杜晓黎;赵晓睿;;重复数据检测在多版本数据备份中的应用[J];计算机应用研究;2009年01期

5 廖海生;赵跃龙;;基于MD5算法的重复数据删除技术的研究与改进[J];计算机测量与控制;2010年03期

6 付印金;肖侬;刘芳;鲍先强;;基于重复数据删除的虚拟桌面存储优化技术[J];计算机研究与发展;2012年S1期

7 周敬利;聂雪军;秦磊华;刘科;朱建峰;王宇;;基于存储环境感知的重复数据删除算法优化[J];计算机科学;2011年02期

8 顾瑜;刘川意;孙林春;阎斌;汪东升;鞠大鹏;;带重复数据删除的大规模存储系统可靠性保证[J];清华大学学报(自然科学版);2010年05期

9 陶安;王军武;;利用虚拟磁带库技术实现异地数据容灾备份[J];软件导刊(教育技术);2011年12期

10 敖莉;舒继武;李明强;;重复数据删除技术[J];软件学报;2010年05期

中国博士学位论文全文数据库 前3条

1 王灿;基于在线重复数据消除的海量数据处理关键技术研究[D];电子科技大学;2012年

2 陈钊;基于云灾备的数据安全存储关键技术研究[D];北京邮电大学;2012年

3 周正达;信息存储系统中重复数据删除技术的研究[D];华中科技大学;2012年

  本文关键词：面向移动终端的数据去重研究，由笔耕文化传播整理发布。

，

本文编号：385101