基于网络编码的一种分布式存储系统应用设计

发布时间：2018-01-24 17:31

  本文关键词： 网络编码 纠删码 分布式存储 二次编码　出处：《南京理工大学》2013年硕士论文　论文类型：学位论文

【摘要】：随着社会信息化程度的不断加快,海量数据的处理越来越受到人们的重视,如何安全高效的存储和处理这些庞大的数据成为了一个亟待解决的问题。分布式存储系统(DSS)的出现则很好的解决的这些问题。我们通过将大量的数据分散的存储到不同位置的存储服务器中,并进行适当的冗余,满足了数据的高可靠性要求。在数据修复方面,当某一存储节点失效时,传统的分布式存储一般采取的是基于纠删码的方法对数据进行修复,我们对基于纠删码的三种数据修复模式进行了讨论。纠删码的方法在一定程度上提高了数据的安全性,但同时也带来了较大的带宽消耗和计算负载。 为了进一步提高分布式存储的数据修复带宽效率,我们提出了一种可靠的基于网络编码的分布式存储系统应用设计。我们知道,网络编码的核心优势在与中间节点的二次编码,在基于网络编码的分布式存储中,我们将存储服务器作为中间节点,将客户端在发送数据的时候作为源节点,在接收数据的时候作为汇聚节点,并在存储服务器上进行二次编码,从而将数据修复的过程平均分布到了各个存储服务器节点中,这样不仅显著提高了带宽效率,也在一定程度上均衡了负载,同时也提升了数据的安全级别。
[Abstract]:With the rapid development of social informatization, people pay more and more attention to the processing of massive data. How to store and process these huge data safely and efficiently becomes an urgent problem. Distributed Storage system (DSS). These problems are well addressed by distributing large amounts of data into storage servers in different locations. And the appropriate redundancy to meet the high reliability of the data requirements. In data repair, when a storage node failure. The traditional distributed storage is based on erasure code to repair the data. We discuss three kinds of data repair modes based on erasure code. Erasure code improves the security of data to a certain extent, but also brings a large bandwidth consumption and computational load. In order to further improve the bandwidth efficiency of distributed storage, we propose a reliable distributed storage system application design based on network coding. The core advantage of network coding is secondary coding with intermediate nodes. In distributed storage based on network coding, we take the storage server as the intermediate node and the client as the source node when sending data. When the data is received, it is used as the sink node, and the secondary coding is carried out on the storage server, so that the process of data repair is distributed evenly among the storage server nodes. This not only significantly improves bandwidth efficiency, but also balances the load to a certain extent, and improves the security level of data.
【学位授予单位】：南京理工大学
【学位级别】：硕士
【学位授予年份】：2013
【分类号】：TN915.01;TP333

【参考文献】

相关期刊论文 前9条

1 郭春梅;毕学尧;;纠删码的分析与研究[J];信息安全与技术;2010年07期

2 王宁;林雪红;林家儒;;网络编码的分布式存储系统理论分析[J];北京邮电大学学报;2009年03期

3 向茜,刘钊;伽罗华域上代数运算的最简实现[J];电子科技大学学报;2000年01期

4 赵志峰,郑少仁;Ad hoc网络体系结构研究[J];电信科学;2001年01期

5 慕建君,路成业,王新梅;关于纠删码的研究与进展[J];电子与信息学报;2002年09期

6 陈卫卫;吴海佳;胥光辉;;分布式存储中文件分割的最优化模型[J];解放军理工大学学报(自然科学版);2010年04期

7 杨林;郑刚;胡晓惠;;网络编码的研究进展[J];计算机研究与发展;2008年03期

8 刘外喜;余顺争;蔡君;;安全的网络编码所面临的挑战和对策[J];计算机科学;2011年06期

9 周伟伟;;线性网络编码研究[J];通信技术;2008年02期

相关博士学位论文 前1条

1 慕建君;低密度纠删码和网格图复杂度的研究[D];西安电子科技大学;2002年

相关硕士学位论文 前1条

1 唐海浪;分布式存储系统的可靠性研究[D];上海交通大学;2009年

，

本文编号：1460593