基于冗余机制的网络存储系统可靠性研究

发布时间：2020-06-16 10:13

【摘要】： 图灵奖获得者Jim Gray提出了一个新的经验定律:网络环境下每18个月产生的数据量等于有史以来数据量之和。信息资源的爆炸性增长,对存储系统在存储容量、数据可用性以及可靠性等方面提出了越来越高的要求。 冗余机制是提高网络存储系统可靠性的关键技术,因此重点研究了硬件冗余以及基于冗余磁盘阵列和纠删码两种数据冗余方法的冗余机制。 基于硬件的冗余是采用冗余网络接口同时为系统提供服务,使得多个链路融合成一个虚拟网络通道。通过网络接口和链路冗余,结合对接口失效的检测和恢复,保证通道的畅通无阻,为存储网络子系统提供一个可靠的网络I/O环境。 基于冗余磁盘阵列的数据冗余分布是通过存储虚拟化技术,将分散在网络中的磁盘资源构建成相应级别的RAID,数据和冗余信息通过分块和交叉分布,在存储节点失效或数据丢失时利用校验信息在线恢复丢失的数据或重构失效的存储节点,这样大大提高了存储系统的可靠性。鉴于目前网络存储系统中广泛存在的异构磁盘,着重研究了异构磁盘环境下数据的分配,提出了无容量约束的速率分配和容量约束的优化速率分配方法。 (n,k)纠删码是一种高效的容错编码,它把k个源数据编码为n(nk)个数据,用这n个数据中任意k个编码数据均可重构原来k个源数据。将这一高效的编码方法运用于存储系统中,提出了基于纠删码的数据冗余分布模型,研究了涉及到的数据读写,失效检测和节点重定向以及恢复算法等关键技术。通过理论分析得出了这种冗余方案对提高系统可靠性更有优势:要使数据达到相同的可用性,基于纠删码方案只需要较低的冗余度;同样在相同的冗余度情况下,基于纠删码冗余方案的数据有更高的可用性。
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2006
【分类号】：TP333
【图文】：

SCSI 设备上，由 SCSI 设备执行初始计算机或应用所合 NAS 和 SAN 的优点满足用户低投入高性能的存储需求。海量信息存储管理复杂性、低管理成本、远程容灾与快速组对基于冗余智能存储通道(RISC)的简约容灾存储系统关目标是利用 RISC 控制器构建一个具有远程容灾和快速数存储原型系统，如图 1.1 所示。

整个广域网中，同时想要访问大文件的多个客户也分布于整个广域网中。文件系统使用的标准策略是把文件分割成n个固定大小的块，这些块被复制k份分布在整个系统中。如图1.2所示，单个文件被分割成8个数据块，标号从1到8，每个数据块被复制到8个存储节点中的任意四个节点上。图1.2中所示访问这个文件的三个用户试图从附近的服务器上下载这个文件。图 1.2 基于复制策略的数据分布如图 1.2 中基于复制的系统相对于无复制的系统而言提供了容错机制，然而复制的代价也是很高的。首先，为了容 m-1 个存储节点失效每个数据块必须复制 m 份。其次，客户必须找到每个文件的数据块的完整拷贝，这将是比较困难的，并且任何一个数据块的失效或者慢速访问都将影响整个文件访问的性能。编码方式的冗余是指将数据通过一定的编码算法计算出校验数据，

【相似文献】

相关期刊论文 前10条

1 安励勉;;沈阳民航通信传输网络建设的几点思考[J];中国-东盟博览;2011年06期

2 Todd Borkowski;;MEMS麦克风可增强音频系统的质量和可靠性[J];电子产品世界;2011年11期

3 王喜文;程郁离;罗雅丽;;诊断试验可靠性评价SAS程序实现[J];中国卫生统计;2011年05期

4 何玉娟;罗宏伟;恩云飞;;偏压条件对光耦合器总剂量辐照效应的影响[J];电子器件;2011年05期

5 郭御风;郭诵忻;龚锐;;一种面向多核处理器I/O系统软错误容错方法[J];计算机工程与科学;2011年10期

6 高国威;任宝胜;;工作台控制器的测试系统设计与应用[J];吉林化工学院学报;2011年09期

7 张军涛;;网络电子交易系统需求分析与实现[J];苏州市职业大学学报;2011年03期

8 王勇;;信息的多重不确定性及其在信息安全中的应用研究[J];信息网络安全;2011年10期

9 杨琼;崔西宁;周波;;事务型文件系统存储管理机制的研究与实现[J];航空计算技术;2011年05期

10 何沛霖;黄国勤;于今;;智能液压容错控制技术在钻机的应用[J];兵工自动化;2011年11期

相关会议论文 前10条

1 马浩云;;力求提高单缸柴油机产品活力的途径[A];2009海峡两岸机械科技论坛论文集[C];2009年

2 周真;马德仲;于晓洋;秦勇;张丽娜;;基于故障数据统计的电磁流量计失效模式分析[A];2009中国仪器仪表与测控技术大会论文集[C];2009年

3 包亦望;刘小根;邱岩;王秀芳;;真空玻璃结构功能一体化[A];2010全国玻璃技术交流研讨会论文集[C];2010年

4 田玲;申永革;;尿液化验制片机的反求研制[A];第一届全国流体动力及控制工程学术会议论文集（第二卷）[C];2000年

5 文礼;;动车组可靠性技术与维修[A];铁道科学技术新进展——铁道科学研究院五十五周年论文集[C];2005年

6 刘显鹏;;浅谈广播设备全寿命管理[A];2006全国广播电视发射技术论文集（1）[C];2006年

7 李铎;陈皓;杨科;;晶体振荡器的抗振设计[A];中国电子学会第十四届电子元件学术年会论文集[C];2006年

8 冯彦君;华更新;杨桦;周新发;范立明;;国外星载容错计算机技术及最新进展(综述)[A];全国第十二届空间及运动体控制技术学术会议论文集[C];2006年

9 ;中国电子学会可靠性分会[A];2007'第十二届全国可靠性物理学术讨论会论文集[C];2007年

10 廖超;来萍;李斌;崔晓英;路香香;;硅脉冲微波功率器件增益退化机理研究[A];2007'第十二届全国可靠性物理学术讨论会论文集[C];2007年

相关重要报纸文章 前10条

1 桑雪骐;家电可靠性开始标准化进程[N];经理日报;2010年

2 本报记者 陈彬　向杰;高可靠 易维修 好保障[N];科技日报;2009年

3 本报记者 桑雪骐;未来 保修期将变保证期[N];中国消费者报;2010年

4 科信;可靠性保障工程建设持续推进[N];中国航天报;2009年

5 李铭;新车可靠性明显提升[N];中国交通报;2010年

6 本报记者 贾鹏雷;联想借“可靠性”撬动市场[N];计算机世界;2004年

7 记者 索阿娣 实习记者 王娟;切实提高核心部件可靠性安全性[N];中国航天报;2009年

8 ;提升便携式产品电源管理方案可靠性[N];中国电子报;2009年

9 记者 刘霞;聚焦可靠性 质量上台阶[N];中国质量报;2009年

10 高岚;可靠性第一 稳定性第一[N];中国计算机报;2002年

相关博士学位论文 前10条

1 王金凤;煤矿生产物流系统研究[D];天津大学;2005年

2 金海松;轿车信息集中控制系统的关键技术研究[D];武汉理工大学;2005年

3 赵儆;电力市场中的可靠性理论研究[D];清华大学;2005年

4 万武南;分布式安全存储系统纠删码技术的研究[D];中国科学院研究生院（成都计算机应用研究所）;2006年

5 唐连生;突发事件下的车辆路径问题研究[D];西南交通大学;2008年

6 吴艳霞;基于汇编语言的控制流错误检测算法研究[D];哈尔滨工程大学;2008年

7 薛玉霞;数控机床可用性关键技术研究[D];吉林大学;2009年

8 姚剑波;基于句法分析的安全信息流[D];贵州大学;2006年

9 辛玉红;供应链系统鲁棒性研究[D];中国航天第二研究院;2008年

10 吕晓东;集中式HID电子镇流器及其供电系统的研究[D];浙江大学;2005年

相关硕士学位论文 前10条

1 马欣;现役长输管道风险分析技术研究[D];兰州理工大学;2005年

2 纪德洲;131.50.3550型三排滚柱式回转支承的研究与开发[D];中国农业大学;2005年

3 王明新;铁道车辆车轴可靠性与安全性分析系统[D];西南交通大学;2005年

4 胡敬朋;综采工作面人-机-环境系统可靠性研究[D];安徽理工大学;2005年

5 张丹;配电网络优化规划和综合评估方法的研究[D];郑州大学;2005年

6 郑志品;定距桨变频型交流轴带发电机的研究[D];上海海事大学;2004年

7 郭云志;基于极限状态法的起重机金属结构设计研究[D];大连理工大学;2006年

8 王吉平;城市道路网络系统可靠性研究[D];长安大学;2005年

9 王婷;混凝土重力坝的可靠性分析[D];辽宁工程技术大学;2005年

10 刘炜烨;基于DSP的电动执行器数字控制系统研究与设计[D];大连海事大学;2006年

本文编号：2715910