内存过载下基于重删的内存优化策略

发布时间：2019-11-11 01:13

【摘要】：内存空间紧张下频繁的外存交换严重影响程序的运行性能,在内存过载时提高内存利用率和减少外存交换问题上,现有的研究主要集中在内存压缩和去重两个方面,压缩只能删除页内重复数据,不能做到页与页之间的相同数据删除;将去重技术与系统虚拟内存结合,删除换出页中的重复页,仍不能有效避免外存交换区访问.提出一种内存过载下基于重删的内存优化策略.利用页框回收算法选出适合去重的内存页,过滤其中全零页以减少存储和去重计算开销,删除重复页以提高内存利用率,并通过存储唯一数据页于内存去重区,有效降低外存交换操作,同时提供可配置的去重内存空间占用上限,避免过度去重引入的颠簸问题.在IO密集型、计算密集型、及常规应用场景下的实验测试表明,该策略能有效删除重复内存页,可以极大程度地减少外存交换操作,同时提高程序运行性能最高可达54.013%.
【图文】：

去重,运行时,算法,内存

的数据，从而导致物理机内存中出现大量的重复数据，通过合并相同页面可以有效的缓解内存容量在虚拟化的瓶颈问题．通过对应用程序运行时内存数据观察，我们发现，不仅虚拟化环境中存在着大量的相同页面，常用应用运行中同样存在大量的相同数据页．图1为对［5］中的程序运行时内存数据集分析结果．各列数据分别为以4K内存页为粒度进行去重和压缩的处理结果．x轴为不同应用，y轴为经过处理后节省的空间与原数据集的比．图中显示在7个数据集中都存在大量的重复页，如果能删除这些重复数据仅保留唯一的数据页，，将极大的提高内存利用率，在内存紧张情况下提供更多可用内存空间．通过与内存压缩系统中常用压缩算法LZ0、LZ4［5，9］对比发现，常见应用中，使用内存重复页删除在多数情况下明显优于数据压缩，可以节省更多的内存空间以提供应用程序使用．同时在数据处理过程中我们发现内存中存在着一定比例的全零页，如果能使用一个字节甚至更小的空间替代内存中全零页的存储，将进一步节省内存空间．图1去重和压缩算法对不同应用运行时候内存数据处理Fig．1Processingresultsformemorydataofdifferentapplicationsusethededuplicationandcompressionalgorithms不同于备份和归档系统［15］的写主导极少情况下读和修改的特点，内存数据时刻都在变化，对时间有更高的敏感性．同时，内存去重对整个系统的性能优化效果受应用程序数据的重复率和访问模式影响，如果不能选择出合适的去重页面同时正确处理去重时间，将引入频繁去重和数据恢复颠簸问题，进而影响系统的整体性能．针对上述问题，本文提供了一种内存过载下基于重删的内存优化策略DSWAP(DeduplicationofSWAP)，在内存过载时利用页框回收算法PFＲA(pageframereclaimingalgorithm)?

结构图,系统整体,结构图,内存

定压缩空间大小，文献［7］依据应用程序不同需求和数据局部性动态调整压缩空间大小以达到性能最优效果．文献［12］提出对换出页面进行压缩，并将其存储在交换缓存中，以减少系统对交换区操作次数同时便于快速响应系统换入请求．压缩策略的本质是利用不断增大的CPU处理能力和磁盘操作延迟之间的差距，即内存紧张时通过未充分利用的CPU计算能力进行页面压缩以提高内存利用率．然而，压缩只能删除页内重复数据，不能做到页与页之间的相同数据页共享，如图1所示在常规应用下相同页面共享的数据去重能达到更好的压缩率．图2系统整体结构图Fig．2Systemstructure2．2内存去重策略内存去重方面，KSM［3］通过周期扫描内存页合并相同数据页的方式提高内存利用率．然而该方法只对相对静态的内存页有较好的去重效果，并且，周期的扫描匿名页以发现新的合并机会需要相当长的时间［1］．文献［2］通过页内共享提供更细粒度的页内共享方案并对非频繁访问数据页压缩进一步提高内存利用率，减少外存交换操作．文献［13］提出将重复数据删除技术［17］应用到系统交换操作中，页面从内存换到磁盘交换区前检测并删除重复数据页以减少磁盘I/O，其采用SHA-1算法计算页面指纹和基数(radixtree)索引唯一数据页元数据，文献［14］在其基础上进行了改进，采用MD5算法计算数据页指纹以及Hash-table索引元数据减少计算代价和内1244小型微型计算机系统2017年

【相似文献】