在线重复数据删除技术的研究与实现

发布时间：2020-04-26 10:20

【摘要】：随着信息化建设的不断深入,企业数据信息量呈几何级数增长。信息量的不断扩张带来以下两个问题:一是存在着大量的重复数据,导致存储空间的大量浪费,企业的存储成本提高;二是高访问量使得磁盘存储设备逐渐成为数据中心的访问性能瓶。针对上述问题,通过对重复数据删除技术的研究,以及对固态硬盘性能和特性的调研,提出了一种基于iSCSI平台的分级存储技术与重复数据删除技术相结合的存储系统。首先,深入研究了重复数据删除技术,采用了基于散列的重复数据删除方式,实现了以下基本功能:指纹计算、指纹检索、指纹索引表管理;为了弥补重复数据删除对系统带来的性能损失,提出了“内存—固态盘—磁盘”分级存储系统,用固态盘充当二级缓存,利用其读写性能好、容量大、非易失性等特点,提高系统整体性能;通过虚拟空间映射功能,将服务器物理磁盘虚拟为一个较大的虚拟盘,然后按分区映射给多个客户端,实现单服务器---多客户端功能。然后针对重复数据删除功能中指纹检索性能瓶颈,进行了专门的算法优化。首先提出了基于布隆过滤的检索过滤算法,过滤掉大量不必要的指纹检索请求;然后实现了指纹索引表“内存—固态盘”分级存储策略,充分利用固态盘较好的读性能,避免索引表存储到磁盘,产生磁盘访问性能瓶颈。最后,对分级重复数据删除系统进行了相关测试。首先对系统进行了性能对比测试,结果表明,重复数据删除功能由于计算量较大,会带来一定的性能损失,但与分级存储技术相结合之后,整体性能反而有一定的提升;然后对重复数据删除的压缩比进行了测试,结果表明,重复数据删除技术对于信息重复度较高的应用环境,如文档应用,具有较好的压缩效果;最后对指纹检索过滤算法进行了测试,其过滤率和误判率都达到了预期效果。
【图文】：

协议栈

绍了 iSCSI 存储平台，然后介绍了基于 iSCSI 平台扑结构，最后讲述了系统中所用到的关键技术，存储技术。台介绍nternet SCSI, 是一种应用较为广泛的存储协议[11]。CSI）和 IP 网络的特点，使得存储服务器可以通存储设备相比，其性价比更高。SI 七层协议中属于端到端的会话层协议，InitiatorSI 协议数据单元[11]，经由 TCP 层，IP 层，链路层arget 端。然后 Target 端再通过解包操作还原 SCS备。iSCSI 协议整合了 SCSI 和 TCP/IP 协议栈，实协议栈如图 2.1 所示：

结构图,结构图

包装和解析仍然由软件来完。硬件方式是以 iSCSI HBA 卡的形式，HBA 卡实现了协议，不需要主机再来完成任何事情。三种方式可以看出，纯软件方式由于不需要任何专用硬会占用主机的 CPU 等资源，所以性能最差；半软件方式占用主机网络带宽，性能稍好，但成本稍高；纯硬件方成所有的 iSCSI 相关操作，性能最好，，但硬件成本最高用第一种以太网卡+软件方式来实现，成本最低，也最为用 Linux 操作系统平台，同时采用了开源的 iSCSI Ente数据删除的功能就在此开源 iSCSI Target 软件平台上实现台，也可采用 Windows 平台，都有相应的 iSCSI Initiato图 2.2 所示：
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2011
【分类号】：TP333

【参考文献】