基于SDN的重复数据删除方法研究

发布时间：2019-10-06 16:09

【摘要】：随着大数据和移动互联网技术的发展,数据量急剧增加,需要备份保护的数据也越来越多,为了减少存储空间的开销和降低网络传输的通信量,数据去重技术已经成为了存储系统中的一个标准特性。虽然重复数据删除技术在存储系统中已经较为成熟,但是在实际应用,特别是网络传输应用中仍然存在诸多问题和挑战。例如在云备份系统中,由于客户端缓存有限以及广域网带宽的限制,备份过程中重复数据的判断需要在服务器端进行,这导致很大的传输延迟,所以会阻塞后续数据的上传,增加了备份窗口,在全局去重时问题更加严重。为提高云备份中源端去重的性能,高效的重复数据删除方法对减少备份时间具有重要的意义。随着可编程网络技术如SDN(Software Defined Network)的成熟,在网络中部署复杂的应用变得简单,本文提出在SDN Controller中检测网络中的冗余数据,加快冗余数据的判断过程,减小备份时间,在SDN控制器中增设指纹缓存,而无需在每个客户端都缓存指纹。一定程度上,在每个客户端开辟指纹缓存,引入了多个用户之间缓存指纹的冗余。本文提出的方法主要是通过在SDN控制器上使用Bloom filter和缓存的索引结构来进行网内的重复数据检测,同时通过下发流表项实现对SDN控制器中指纹缓存的查询和更新,从而快速判断数据是否重复,这种方法的创新点在于将冗余检测的逻辑引入到SDN网络中,和传统的重复数据删除相比,其优势在于不仅可以减小备份客户端的备份窗口,而且避免了在中间网络设备中进行编解码的复杂操作。实验结果表明,基于SDN的数据去重方法与已有的云备份中去重方法相比,不仅保持了相近的数据重删率,同时可以极大减小备份时间,提高系统吞吐量,并且在低带宽环境效果更明显。
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP333;TP309.3

【参考文献】