基于Open-Channel SSD特性的LSM-tree键值存储研究

发布时间：2020-07-12 04:47

【摘要】：大容量固态盘(Solid State Drive,SSD)的大物理块应用趋势及3D NAND Flash技术发展,为数据存储管理带来了机遇和挑战。日志结构合并树(log-structured merge-tree,LSM-tree)键值(key-value,KV)存储针对随机写进行优化,提供高效的数据插入和删除,作为持久化存储引擎被广泛应用在数据中心。LSM-tree KV存储直接使用SSD块设备,两者本身都存在读/写放大。更为糟糕的是主机端和设备端管理上各自为政,系统读/写放大问题会进一步叠加,严重降低存储系统整体性能和SSD寿命。基于开放通道SSD(Open-Channel SSD)的LSM-tree KV存储系统为统一管理软、硬件资源,优化存储系统,减少读/写放大问题,提供了一种解决途径。设计实现了基于Open-Channel SSD特性的LSM-tree键值存储系统(LSM-tree based key-value Store System on Open-Channel SSD Features)简称LOSF。LOSF利用开放通道SSD感知上层应用语义信息的特性,对KV数据进行分类聚集管理,根据KV数据粒度和访问频度将key和value选择分离处理,形成由LSM-tree管理的小粒度高频度数据区和块管理的大粒度value数据区,提高数据回收的效率,减少写放大。对小粒度高频数据提出子块管理方法,采用动态预处理合并策略,降低每次合并操作的数据量,避免单次合并操作开销过大,有效地减少了数据反复迁移,减少写放大。对大粒度value数据利用MLC型3D NAND Flash边界SLC型介质的复写特性,提出复写位图区管理方法,减少数据回收时查询LSM-tree的开销,减少读放大。LOSF利用SSD发展的新特性,优化存储系统,减少读/写放大。测试结果表明,LOSF方案与同样是开放通道SSD的LOCS方案相比,在KV粒度较小时,读写放大分别优化了30.4%和29.5%,SSD平均擦除次数减少了23.5%,存储系统整体性能提升28.6%;在KV数据粒度较大时,性能成倍提升,优化效果更加显著。LOSF方案与主机端采用数据分类聚集的Wisckey-SSD方案相比,读写放大分别优化了35%和45%,SSD擦除次数减少达70%左右,存储系统整体性能提升了47%。
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP333

【参考文献】