应用于分布式存储系统的网络编码方法研究

发布时间：2019-10-12 04:56

【摘要】：针对传统分布式存储网络负载不均而使用现有网络编码方案运算开销又较大的问题,提出一种新的线性随机网络编码方法——HE码,构建随机等重码作为编码矩阵,编码参数灵活,编码过程仅需异或运算,编码后信息向量使原始信息均匀分布。实验结果表明,基于HE码的线性随机网络编码方案比传统方案在均衡负载上有明显的优势,同时实现了线性的计算复杂度,为解决云计算、P2P网络等存在的网络瓶颈问题,提供了工程上可实用的方法。
【图文】：

模型图,分布式网络,存储系统,模型

恢复，就认为此译码过程成功。此时信宿节点Ｒj通过译码，能够接收到所有的αi。需要注意的是，此处提及的HE码的构造过程中，等重码C的构造要求使n，k的选取受到了限制，但是文献［8］提出用近似等重码和增加用于描述编码元被删减程度的参数p，使得n，k可以选取任意整数。这里由于篇幅限制，为了突出HE码编码思想核心，不再介绍其改进方案。4实验及性能分析为了验证HE码对分布式网络存储系统所带来的性能提升和估量其所带来的代价，在国家863计划课题工作的基础上，搭建了一个基于HE码方案的分布式存储系统(如图4)，系统内的存储节点间采用了对等逻辑结构设计，实现了在集群中任何节点都可以对文件进行编码存储操作。当集群中有节点损毁时，利用集群中正常运行的节点可以对损毁文件进行恢复重构。主要参数配置如下:CPU为IntelCorei3(3．07GHz)，内存为3GB，操作系统为WindowsXP，开发平台为VS2008。图4分布式网络存储系统模型实验对HE码的负载均衡能力、安全性、计算复杂度、冗余代价等指标进行测试并对其结果做出分析，并与传统的存储方式做出比较。4．1负载均衡能力基于HE码的网络编码可以实现负载均衡。其在均衡负载上的优势在于，将原始文件分块进行线性组合后，每个线性组合中均含有所有原始文件分块的内容，使得整个网络中的原始文件分块的分布均衡化，能够适应分布式系统的动态变化，不会出现单节点过热的瓶颈问题。实验中，考虑一个(n，k)网络存储系统，，假设存储节点数为n，获取完整数据所需要连接的节点数目阈值为k，来比较一下无冗余数据(n，k)存储系统和基于不同参数HE码方案的存储系统的稳定性。假定节点数目n=50，各节点之间数据传输速度满足正态分布S～N(s藄，σ2)，s藄=50kb/s用户需要下载文件数
【作者单位】：中国科学院成都计算机应用研究所;中国科学院大学;
【基金】：国家863计划项目(2008AAO1Z402)
【分类号】：TP393.02

【参考文献】