NVM存储系统的性能优化研究

发布时间：2020-03-19 22:07

【摘要】：非易失性存储器(Non-Volatile Memory,简称NVM)是一种拥有传统DRAM内存级别读写速度,同时兼具HDD、SSD等外存材料一般的数据持久安全保存性能和大密度存储特性的新一代存储材料。由于这些优点,NVM近年来正受到越来越多来自学术界与工业界人士的青睐。然而,由于NVM诞生时间并不长,其相关理论与技术并不完善,无法进行大规模生产。同时,随着研究的不断深入,NVM自身的一些缺陷也在逐步暴露。若直接将NVM引入到当下的存储系统,不仅不能保证NVM的优异性能得到充分发挥,还可能因为不恰当的使用,使得NVM的缺点被放大,从而反过来伤害当前系统的性能。针对这些问题,本文从NVM与当下热门应用的角度切入,对NVM在当下计算、存储环境下的恰当使用以及针对性优化,进行了一些探索。首先,本文使用NVM优化了当下流行的HDD+SSD混合存储系统结构设计中,利用NVM的优异特性,提高混合存储系统的相关性能。以充分利用每一块NVM存储单元为原则,在传统存储管理机制上引入了一个额外的存储单元“数据桶”,降低NVM存储空间的碎片率。另外,根据数据的读写特性、历史访问信息等将NVM按存储单元使用寿命进行数据分区存储,以提高NVM存储单元利用率和NVM设备实际使用寿命。然后,针对分布式缓存系统的持久化问题,本文先探讨了影响分布式缓存系统持久化性能的几个关键因素。根据对影响持久化性能的关键因素进行分析,对当前持久化机制进行了一些针对性修改。最后,本文针对Spark平台的不足,将一种基于NVM设计的共享缓存结构引入Spark平台的硬件体系中。通过修改Spark的持久化机制、RDD分区管理算法,使Spark能正确识别并使用NVM。同时通过NVM共享缓存结构,提升Spark任务处理能力,强化了Spark对存储空间内数据的管理能力,进一步提高了空间的利用率。本文通过对几个当前常用应用场景与NVM的结合,探索了NVM在当前存储计算环境下的合理应用方式。通过对已有存储的适当改造,在基本特性不改变的前提下强化了NVM在当前环境下的性能与优势,同时避免了NVM的一些缺点。为NVM迈入实质性应用提供了一些参考依据。
【图文】：

应用结构,存储系统

图 1-1 存储系统应用结构（1）针对存储系统的碎片处理，对基于 NVM 的混合存储系统的数据存储策略进行优化因为碎片是存储系统的一个无法回避的问题，理论上讲完全避免碎片的最优文件切片解是不存在的，我们所能够做的就是尽可能的降低碎片产生的几率，，并减小碎片的大小。而 NVM 在存储单元寿命上要优于一般 SSD，但和 DRAM与 HDD 相比还有很大差距。为了充分利用每一块 NVM 存储单元，我们在原有均衡擦写方法的基础上，综合前面的存储管理机制优化方案，对 NVM 存储设备进行分区管理。针对 HDD 和 SSD，传统存储机制主要采用数据切片映射和数据替换方法来降低存储系统的碎片情况。从两者的实施结果来看，均起到了很好的效果，然而代价也很明显。针对上述难题，本文以传统 DRAM 的段页式内存管理为基础设计了一个对 NVM 特性更加友好的存储空间管理机制。通过对 NVM 存储空间进行二次组织，使得保存于其中的数据能够以更为紧凑的形式存放在 NVM 存储单元内。最后通过仿真实验，检验算法的有效性。对

共享内存,进程

源消耗相差不大。2.5 共享内存技术图 2-1 给出了一个简易的共享内存结构。共享内存是一种在多处理器环境下，为了加速某些数据的交换速度，而在内存空间里开辟的一块区域。由于内存内的数据可能被多个 CPU 共同使用，而各个 CPU 之间的计算、处理并不一致，导致这些数据可能会被同时修改。如果不加以处理，会对多进程、多处理器等计算环境造成非常严重的逻辑混乱。为此而诞生了共享内存技术，其主要方式包括：以 Linux内的 mmap()函数为代表的进程、处理器缓冲区访问方法，和通过数据映射使用共享数据等方法。通过共享内存，可以实现计算机系统内各个进程，以及各个处理单元之间的高速通信，同时保证了数据的一致性以及计算处理结果的逻辑性。共享内存相比其他数据一致性方法具有更好的数据控制性能，数据读写过程更加透明。进程与处理器通过类似指针的方法便可访问共享内存内数据。共享内存的缺点是，数据写入进程或数据读出进程中，需要附加的数据结构控制。
【学位授予单位】：电子科技大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP333

【相似文献】