面向纠删码存储集群的节点并发重构

发布时间：2017-12-25 02:25

  本文关键词：面向纠删码存储集群的节点并发重构　出处：《计算机研究与发展》2016年09期 　论文类型：期刊论文

  更多相关文章： 纠删编码 集群存储 存储可靠性 节点重构 交叉式重构

【摘要】：纠删码存储集群的一个关键设计目标是降低重构I/O所引起的网络流量,因为降低网络流量有助于缩短重构时间,进而提高可靠性.针对2个或多个失效节点并发重构这一研究话题,提出一种交叉式重构方案(interleaved reconstruction scheme,IRS).所有替换节点能协同、并行地重构所有失效分块.通过对现有集中式重构方案(centralized reconstruction scheme,CRec)和分散式重构方案(decentralizedreconstruction scheme,DRec)的I/O流进行分析,分析发现CRec中存储管理器和DRec中替换节点是重构性能的瓶颈.针对此,IRS从2个方面进行改进:1)替换节点充当重构节点进行并行式重构,消除CRec中管理器这一重构瓶颈;2)利用纠删码的编码结构特性,所有替换节点协同地重构所有失效分块,确保重构时只传输一次所需存活分块.在Reed-Solomon码存储集群上实现了上述3个重构方案,并用真实I/O trace进行对比测试.实验结果表明:当纠删码存储集群的编码参数为k=9和r=3时,IRS方案的双节点重构性能是其他2种重构方案的1.63倍;而3节点重构性能是其他2种重构方案的2.14倍.
【作者单位】： 武汉光电国家实验室(华中科技大学);
【分类号】：TP333
【正文快照】： 分布式存储具有很高的性价比和扩展性,已成而分散式重构方案中每个替换节点独立请求存活分为大规模数据中心的主流存储结构.然而,分布式存块,造成同一存活分块的多次传输.本文提出一种交储系统包含大量存储节点,节点失效是经常性事件.叉式重构方案(interleaved　reconstructio

【相似文献】

相关会议论文 前9条

1 任安禄;邓见;;分块法求解圆球强迫对流场[A];第十一届全国水动力学学术会议暨第二十四届全国水动力学研讨会并周培源诞辰110周年纪念大会文集（上册）[C];2012年

2 陈宜稳;王威;王润生;;分块建模和点建模联合的背景重建方法[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用（CACIS）学术会议论文集[C];2007年

3 伍中平;;双向不等高正交钢管桁架分块整体提升施工技术[A];大型复杂钢结构建筑工程施工新技术与应用论文集[C];2012年

4 邹李;杜小勇;何军;;B3:图间节点相似度分块计算方法[A];NDBC2010第27届中国数据库学术会议论文集A辑二[C];2010年

5 窦朝晖;;影响分块算法性能的主要因素[A];面向21世纪的科技进步与社会经济发展（上册）[C];1999年

6 肖永浩;黄清南;;基于分块数据结构的冲击问题并行计算[A];中国计算力学大会'2010（CCCM2010）暨第八届南方计算力学学术会议（SCCM8）论文集[C];2010年

7 戴妍峰;刘藻珍;;空间望远镜分块式主镜面形控制系统建模[A];中国系统仿真学会第五次全国会员代表大会暨2006年全国学术年会论文集[C];2006年

8 李嘉伟;孙明;;基于分块LAB特征的粒子滤波目标跟踪算法[A];中国农业工程学会2011年学术年会论文集[C];2011年

9 ;大会主题报告[A];2009年全国微波毫米波会议论文集（下册）[C];2009年

相关重要报纸文章 前5条

1 雷明;企业扭亏分块搞活应处理好的几个关系[N];中国企业报;2000年

2 雷明;分块搞活应处理好几个关系[N];中国航空报;2001年

3 覃匡龙 周鸿广 侯俊富;“分块管理”破解警力难题[N];检察日报;2003年

4 王书明;新华中学形成安全管理网络[N];商洛日报;2007年

5 记者 郭凤美;“分块搞活”救了太原制药[N];山西经济日报;2004年

相关博士学位论文 前2条

1 邹健;分块稀疏表示的理论及算法研究[D];华南理工大学;2012年

2 何边;复杂网络上的分块问题[D];上海交通大学;2012年

相关硕士学位论文 前10条

1 严辉银;求解二乘二分块实线性方程组的块分裂预处理方法[D];兰州大学;2015年

2 沈世达;基于分块压缩感知的图像和视频传输技术研究[D];西南交通大学;2015年

3 张蛟;基于FastDFS的重复数据管理技术的研究与实现[D];电子科技大学;2014年

4 白聪轩;多线索分块匹配的移动机器人目标跟踪[D];北京工业大学;2015年

5 李鹏程;基于张量特征值分析的特征表示及典型应用[D];西安电子科技大学;2015年

6 荣雁霞;基于分块压缩感知的图像重构方法研究[D];南京邮电大学;2015年

7 高东红;基于多尺度分块压缩感知的图像处理算法研究[D];北京理工大学;2016年

8 李浩田;分块主镜式相机共相位检测系统研究[D];北京理工大学;2016年

9 闵慧;面向语义服务的大规模本体分块映射研究[D];中南大学;2013年

10 王润梅;基于Laplace矩阵的大规模本体分块映射的研究[D];中南大学;2011年

，

本文编号：1330977