一种网络编码分布式存储系统中的数据更新策略

发布时间：2018-01-20 04:34

本文关键词： 网络编码分布式存储系统再生码缓存数据更新　出处：《小型微型计算机系统》2017年03期 　论文类型：期刊论文

【摘要】：网络编码作为一种具有高可靠性和低冗余等优点的存储方案而被引入到分布式存储系统中,但是其数据更新过程的开销却很大.一些更新方案为了减少I/O开销而引入Log-based存储机制,而没有考虑优化网络带宽使用量.本文中,通过分析多个数据集,发现了大部分更新数据块存在着多次更新的情况,针对这一现象,我们提出一种更新方案CUM,利用网络编码的线性特性和更新节点的缓存区域,将更新块和校验块的信息缓存起来,当数据块多次更新时则可以直接在缓存中读取信息来计算新的校验块,从而减少了到存储节点上读取数据的带宽使用量.本文在NCFS的基础上建立缓存更新模型,并在真实的数据集上对CUM进行测试.实验结果显示CUM相比当前广泛使用的Differential Update Model(DUM)在更新性能上有很大改进,带宽使用量减少最多达总量的30%,更新时间最多减少24.57%,更新速度最多提高1.326倍.
[Abstract]:As a storage scheme with high reliability and low redundancy, network coding is introduced into distributed storage system. In order to reduce I / O overhead, some updating schemes introduce Log-based storage mechanism without considering the optimization of network bandwidth usage. By analyzing several data sets, we find that most of the updated data blocks have multiple updates. In view of this phenomenon, we propose an update scheme CUM. By using the linear characteristic of network coding and the cache region of update node, the information of update block and check block can be cached. When the data block is updated many times, the information can be read directly in the cache to calculate the new check block. In order to reduce the bandwidth usage of reading data to the storage node, this paper builds a cache update model based on NCFS. CUM was tested on the real data set. Experimental results show that CUM is more widely used than Differential Update Model. Great improvements in update performance. The bandwidth usage is reduced by 30% of the total, the renewal time is reduced by 24.57%, and the renewal speed is increased by 1.326 times.
【作者单位】：暨南大学信息学院计算机科学系;中国科学院计算技术研究所计算机体系结构国家重点实验室;
【基金】：国家自然科学基金项目(61572232,61272073)资助广东省自然科学基金重点项目(S2013020012865)资助中国科学院计算机系统结构国家重点实验室开放基金项目(CARCH201401)U资助中央高校基本科研业务费专项资金
【分类号】：TP333
【正文快照】： 1引言现如今,随着数据量的大规模增长,减少数据的存储开销以及提高数据可靠性越来越受到重视[14].作为一种替代的存储方案,网络编码[1,5]被应用到分布式存储系统,通过网络连接不同的节点为存储大量的数据提供一个可靠平台.常见的商业模型就是我们所说的云存储,例如Amazon S3和

【相似文献】