MSDD:一种结合重复数据删除技术的内存交换机制

发布时间：2018-04-30 01:23

  本文选题：内存交换操作 + 重复数据删除　； 参考：《小型微型计算机系统》2014年05期

【摘要】：内存交换操作中频繁的外存访问是制约程序运行性能的一个重要因素.提出一种结合重复数据删除技术的内存交换机制MSDD(Memory Swap with Data Deduplication),通过删除交换页面中的重复页面减少换出操作,从而降低交换操作对程序运行性能的影响.针对交换操作延迟敏感和内存紧缺的特点,MSDD机制采用了改进的MD5算法计算页面的数字指纹以限制其计算时延,同时通过哈希表存储删冗元数据以在内存空间占用率与删冗元数据的检索速率两方面取得权衡.在四种典型应用程序上的实验测试结果表明,MSDD机制可以减少内存换出操作达36.73%,提高程序运行性能达15.0%.
[Abstract]:Frequent memory access in memory exchange operations is an important factor that restricts the performance of programs. This paper presents a memory exchange mechanism, MSDD(Memory Swap with Data replication, which combines repeated data deletion technology, which reduces the effect of switching operation on program performance by deleting duplicate pages in exchange pages and reducing swapping operations. Aiming at the characteristics of switching delay sensitivity and memory shortage, the improved MD5 algorithm is used to calculate the digital fingerprint of the page to limit the computing delay. At the same time, the erasure metadata is stored in the hash table to obtain the tradeoff between the memory space occupancy and the retrieval rate of the deleted redundant metadata. The experimental results on four typical applications show that the MSDD mechanism can reduce the memory swapping operation up to 36.73 and improve the performance of the program up to 15.0.
【作者单位】： 辽宁师范大学计算机与信息技术学院;清华大学计算机科学与技术系;
【基金】：国家科技重大专项课题子课题(2013ZX03002004-003)资助
【分类号】：TP311.13;TP333

【参考文献】

相关期刊论文 前2条

1 付印金;肖侬;刘芳;;重复数据删除关键技术研究进展[J];计算机研究与发展;2012年01期

2 敖莉;舒继武;李明强;;重复数据删除技术[J];软件学报;2010年05期

【共引文献】

相关期刊论文 前10条

1 邓亮;胡晓勤;梁刚;;基于重复数据删除技术的SQL Server数据库备份系统[J];计算机安全;2011年07期

2 吴晓勇;李慧娜;;基于文件类型的远程文件备份系统[J];计算机安全;2012年03期

3 吴晓勇;李慧娜;;基于Internet的共享式灾备中心[J];计算机安全;2012年05期

4 张清松;梁智强;;基于硬盘的主机防客体重用性能的检测方法[J];广东电力;2012年07期

5 李向前;;一种基于重复数据删除的Oracle数据库备份系统[J];电脑知识与技术;2013年01期

6 谢垂益;钟红君;;Rabin指纹算法在重复数据检测中的应用研究[J];电脑知识与技术;2013年21期

7 王灿;秦志光;杨磊;杨皓;;基于改进Sparse Indexing的多负载消冗方法[J];电子科技大学学报;2013年05期

8 张志杰;何利力;;烟草工业数据灾备中重复数据删除技术研究[J];工业控制计算机;2013年12期

9 彭成;王树鹏;贾志凯;;基于纠删码的数据消冗存储系统可靠性增强研究[J];计算机研究与发展;2011年S1期

10 付印金;肖侬;刘芳;;重复数据删除关键技术研究进展[J];计算机研究与发展;2012年01期

相关会议论文 前1条

1 彭成;王树鹏;贾志凯;;基于纠删码的数据消冗存储系统可靠性增强研究[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

相关博士学位论文 前4条

1 谭玉娟;数据备份系统中数据去重技术研究[D];华中科技大学;2012年

2 王灿;基于在线重复数据消除的海量数据处理关键技术研究[D];电子科技大学;2012年

3 魏建生;高性能重复数据检测与删除技术研究[D];华中科技大学;2012年

4 蒋海波;海量数据存储系统的高可靠性关键技术研究与应用[D];电子科技大学;2013年

相关硕士学位论文 前10条

1 丁跃进;网关型病毒防火墙的设计与实现[D];电子科技大学;2011年

2 胡盼盼;在线重复数据删除技术的研究与实现[D];华中科技大学;2011年

3 曾涛;重复数据删除技术的研究与实现[D];华中科技大学;2011年

4 张鹏;在线备份系统中存储服务器的研究与实现[D];华中科技大学;2011年

5 周国惠;支持重复数据删除的网络备份系统中存储服务器的设计与实现[D];华中科技大学;2011年

6 张航;文件同步服务中数据同步传输消重策略研究[D];国防科学技术大学;2011年

7 武铨;广域网数据冗余消除TCP透明代理的设计与实现[D];南京邮电大学;2012年

8 郭永安;网络协议栈下TCP队列管理研究[D];南京邮电大学;2012年

9 毛允亭;广域网数据压缩算法的研究与实现[D];南京邮电大学;2012年

10 肖红凤;基于数据中心的数据访问服务模型研究[D];东北石油大学;2012年

【二级参考文献】

相关期刊论文 前1条

1 敖莉;舒继武;李明强;;重复数据删除技术[J];软件学报;2010年05期

【相似文献】

相关期刊论文 前10条

1 陈光仪;蓝岚;;RDF存储策略的研究与实现[J];现代计算机(专业版);2008年04期

2 李慧霞,卢炎生;数字正射影像数据的存储管理[J];计算机工程;2003年12期

3 张哲;宋敏;刘大昕;韦正现;宋铮;;一种支持分布式系统集成的数据模型[J];系统仿真学报;2009年03期

4 熊渊琳;潘永华;;应用于嵌入式平台分块数据压缩的实现[J];信息安全与技术;2010年10期

5 何家颖;;一种数据总线模型在电信企业运营支撑中的应用[J];电脑与电信;2011年05期

6 严强;张为华;刘力力;臧斌宇;朱传琪;;一种基于元数据的采样模拟技术优化[J];计算机学报;2008年11期

7 陈禹;;用户心中的误区[J];中国计算机用户;2007年10期

8 翟永;陈杰;刘磊;;国家基础地理信息中心数据存储网格建设[J];地理信息世界;2007年04期

9 刘仲;李凯;;一种归档存储系统结构[J];计算机工程;2010年07期

10 肖明;各种元数据规范[J];电子与电脑;2000年04期

相关会议论文 前5条

1 张曦;陈渝;王小鸽;张宝鹏;孙云峰;;PA-DCS:一种基于能耗感知的无线传感器网络分布式存储系统[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年

2 高岩;曹瑞;甄彩军;徐广治;王刚;刘晓光;;一种按需分配增量卷的自动扩容方法研究[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

3 肖钧;黄亮;;虚拟化搭配去重,双剑合璧更给力[A];2011年CAD/CAM学术交流会议论文集[C];2011年

4 徐伟;王敏;孟晓p，

本文编号：1822451