内容分块算法中预期分块长度对重复数据删除率的影响

发布时间：2017-07-16 11:00

  本文关键词：内容分块算法中预期分块长度对重复数据删除率的影响

  更多相关文章： 基于内容分块 重复数据删除率 Logistic函数

【摘要】：针对基于内容分块重复数据删除方法缺少能够定量分析预期分块长度与重复数据删除率之间关系的数学模型,导致难以通过调整预期分块长度优化重复数据删除率的问题,提出了一种基于Logistic函数的数学模型。在大量真实数据测观察基础上,提出了通过Logistic函数描述非重复数据的"S"形变化趋势,解决了该数据难以从理论上推导、建模的问题,证明了基于内容分块过程服从二项分布,并从理论上推导出了元数据大小模型。基于上述两种数据模型,通过数学运算最终推导得到重复数据删除率模型,并利用收集到的3组真实数据集对模型进行了实验验证。实验结果表明:反映数学模型拟合优度的R2值在0.9以上,说明该模型能够准确地反映出预期分块长度与重复数据删除率之间的数学关系。该模型为进一步研究如何通过调整预期分块长度使重复数据删除率最优化提供了理论基础。
【作者单位】： 西安交通大学电子与信息工程学院;深圳信息职业技术学院软件学院;浪潮集团高效能服务器和存储技术国家重点实验室;
【关键词】： 基于内容分块 重复数据删除率 Logistic函数
【基金】：国家自然科学基金资助项目(61572394) 国家重点研究发展计划资助项目(2016YFB1000303) 深圳市基础研究资助项目(JCYJ20120615101127404,JSGG20140519141854753)
【分类号】：TP333;TP301.6
【正文快照】： 重复数据删除是一种数据精简技术,是应对大数据时代下数据存储规模越来越庞大这一问题的重要解决方案,目前在备份、归档等二级存储系统中得到了广泛应用[1-5],并有逐渐在文件系统等主存储系统中大量应用的趋势[6-7]。基于内容的分块算法[8]能够避免数据更新敏感问题,显著提高

【相似文献】

中国期刊全文数据库 前10条

1 ;重复数据删除可实现25:1压缩[J];每周电脑报;2007年01期

2 贾志凯;王树鹏;陈光达;彭成;;一种并行层次化的重复数据删除技术[J];计算机研究与发展;2011年S1期

3 Eric Bassier;;应对数据增长的重磅武器——重复数据删除技术[J];计算机与网络;2013年06期

4 于丹;;昆腾进入重复数据删除市场[J];每周电脑报;2007年09期

5 卢敏;;“零距离”重复数据删除[J];软件世界;2008年11期

6 卢敏;;点亮“重复数据删除”[J];软件世界;2008年06期

7 徐立洋;;选购重复数据删除方案 软硬兼施剔除鸡肋数据[J];中国计算机用户;2009年08期

8 邢延刚;;删除重复值我有妙法[J];电脑迷;2009年09期

9 李刚;;重复数据删除走向“源头”[J];中国计算机用户;2009年16期

10 雷赫;;重复数据删除技术方案选型 删除冗余 优化存储[J];中国计算机用户;2009年23期

中国重要会议论文全文数据库 前3条

1 贾志凯;王树鹏;陈光达;彭成;;一种并行层次化的重复数据删除技术[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

2 杨廷梧;;基于重复数据删除的靶场试验信息存储技术[A];2009年西部光子学学术会议论文摘要集[C];2009年

3 肖钧;黄亮;;虚拟化搭配去重,双剑合璧更给力[A];2011年CAD/CAM学术交流会议论文集[C];2011年

中国重要报纸全文数据库 前10条

1 本报记者 张伟;重复数据删除能被扶正吗[N];中国计算机报;2008年

2 王琨月;重复数据删除不该忽视弱点[N];网络世界;2008年

3 本报记者 郭涛;基于硬件的重复数据删除效率更高[N];中国计算机报;2009年

4 朱皎;重复数据删除技术渐成主流[N];电脑商报;2009年

5 邢小萍;重复数据删除技术渐入佳境[N];网络世界;2009年

6 本报记者 刑小萍;重复数据删除市场迎来开门红[N];网络世界;2010年

7 清水　编译;部署重复数据删除[N];计算机世界;2010年

8 编译 张磊;谁在拖重复数据删除的后腿[N];中国计算机报;2009年

9 本报记者 郭涛;重复数据删除2.0追求“双高”[N];中国计算机报;2012年

10 编译 沈建苗;你果真需要重复数据删除技术吗[N];计算机世界;2013年

中国博士学位论文全文数据库 前10条

1 林彬;主存储服务系统中高I/O性能的重复数据删除技术研究[D];国防科学技术大学;2014年

2 阎芳;重复数据删除系统数据组织研究[D];北京理工大学;2015年

3 周炳;海量数据的重复数据删除中元数据管理关键技术研究[D];清华大学;2015年

4 王国华;高效重复数据删除技术研究[D];华南理工大学;2014年

5 王灿;基于在线重复数据消除的海量数据处理关键技术研究[D];电子科技大学;2012年

6 付印金;面向云环境的重复数据删除关键技术研究[D];国防科学技术大学;2013年

7 周正达;信息存储系统中重复数据删除技术的研究[D];华中科技大学;2012年

8 杨天明;网络备份中重复数据删除技术研究[D];华中科技大学;2010年

9 朱锐;重复数据删除技术中的并行性能优化算法研究[D];华中科技大学;2013年

10 叶鹏迪;云存储系统资源管理关键技术研究[D];北京邮电大学;2014年

中国硕士学位论文全文数据库 前10条

1 张明月;客户端加密重复数据删除机制的研究[D];西安电子科技大学;2014年

2 黄可;重复数据可删除的云数据审计协议的研究[D];电子科技大学;2015年

3 王振宇;安全云存储中重复数据删除机制研究[D];南京邮电大学;2015年

4 李志然;云存储中集群重复数据删除系统的研究与设计[D];东北大学;2014年

5 张宏亮;重复数据删除技术在云存储中的应用与实现[D];华中科技大学;2014年

6 王珂;一种基于代理重加密的安全重复数据删除机制的研究[D];北京邮电大学;2012年

7 沈瑞清;云存储中避免重复数据存储机制研究[D];云南大学;2013年

8 石俊杰;基于云存储的重复数据删除文件系统设计与实现[D];华中科技大学;2013年

9 胡盼盼;在线重复数据删除技术的研究与实现[D];华中科技大学;2011年

10 曾涛;重复数据删除技术的研究与实现[D];华中科技大学;2011年

，

本文编号：548303