分布式存储系统的可靠性研究

发布时间：2020-04-10 17:59

【摘要】：随着分布式存储系统规模的不断扩大,系统可靠性的问题逐渐受到人们的重视。系统中磁盘数量的增加和单块磁盘容量的增长使得系统错误率不断增长,任何一次数据丢失都会造成巨大的损失。 本文对基于纠删码的分布式存储系统,首先通过泊松过程建立数据块错误的概率模型,并分析磁盘整理周期跟数据块错误之间的关系;然后根据数据块错误概率和纠删码的性质导出文件可用性模型,分析了冗余度和文件可靠性之间的关系;接着利用文件可用性和磁盘整理周期,导出了系统可靠性的计算模型。 为了避免在读写过程中访问不相关的数据块,本文选择文件为冗余集合。在这种情况下,系统可靠性取决于小文件的可靠性,因此,我们提出了动态冗余机制,对不同大小的文件选择最合适的冗余度。这种机制在保证系统可靠性的前提下降低了系统冗余的空间代价,同时也从一定程度上优化了读写操作的性能。 处理数据块错误的方法是磁盘整理,即系统定期扫描磁盘中所有的数据块,修复损坏的数据块。所以缩短磁盘整理周期可以有效提高系统的可靠性,但是过于频繁的磁盘整理会给系统带来沉重的负担。本文最后将提出如何根据系统可靠性目标来选择一个合适的磁盘整理周期。
【图文】：

.1 系统可靠性研究的由来我们生活在一个信息大爆炸时代。随着科学技术的飞速发展，数据，作为信息体，其数量在持续不断的增长。仅 2002 年一年，全球就产生了 5EB（5×260字新数据，这些数据的年增长率接近 30% [1]，系统架构师们需要建立庞大的存储来满足日益增长的带宽和存储空间的需求。随着系统规模的扩大，系统的容错能力和可靠性的问题日益突出。系统错误往导致非常严重的后果，对于商用数据服务器，系统错误意味着几百万美元的损用于科学计算的超级计算机集群，系统错误意味着很多宝贵的、不可再生的数据。现在的存储系统远没有我们想象的那么可靠，最新的调查显示商用服务器只能 99%的可靠性，这意味着系统在一年中平均每 3.5 天会出现一次宕机 [2]。200一份错误分析报告显示，Internet Archive [3]在一个月内会出现 30 个硬盘错误，统是一个由 600 多个硬盘构成，含有 100TB 压缩数据的数字图书馆，，下图是该连续运行 30 天所发生的硬件错误的分布情况。

图 2-1：三种集中式存储系统架构Figure 2-1: The architecture of three kinds of centralized storage systems2.1.2 分布式存储系统分布式存储系统可以分为集群存储系统、P2P 存储系统和网格存储系统等等(1) 集群存储系统由于目前一些存储应用受容量可扩展性、性能可扩展性、可用性、可管理性战，“催生”了许多存储集群系统的产生。集群存储是将每个存储设备作为一个节点，通过高速互联网络连接起来，将数据分散开存储在多台独立的设备上，这备可以独立运作，相互之间又可以合作。每个 I/O 节点不仅可以访问本节点的存间，还可以访问其他节点的存储空间。所有存储节点的空间以一个虚拟磁盘的方供给客户端用户。组成集群存储可以是块级别的 SAN 集群、文件级别的 NAS 集并行文件系统的集群。
【学位授予单位】：上海交通大学
【学位级别】：硕士
【学位授予年份】：2009
【分类号】：TP333

【相似文献】

相关期刊论文 前10条

1 林啸虎;机器人应用工程的可靠性研究[J];中国机械工程;1992年02期

2 伊连云;王会;张秀英;;PLC控制系统抗干扰可靠性研究[J];农业装备与车辆工程;2006年04期

3 李天超;李琳;;单片机上电初始化电路的可靠性研究[J];洛阳师范学院学报;2006年02期

4 张芳娥;衡君山;甄换强;;RS485总线网络可靠性研究[J];仪器仪表学报;2006年S3期

5 高健飞;熊继军;郭涛;范波;;微加速度计在冲击环境下的可靠性研究[J];传感技术学报;2008年02期

6 张霞;王磊;张欣;;图书馆电子阅览室人子系统的可靠性研究[J];中国现代教育装备;2008年06期

7 俞健;;高速条件下GPRS数据传输可靠性研究[J];电脑与电信;2009年04期

8 于捷;石耀霖;张海龙;申桂香;贾亚洲;;基于Bayes方法的数控机床可靠性研究[J];机床与液压;2009年08期

9 ;电子器件[J];电子科技文摘;2000年01期

10 ;可靠性工程与环境工程[J];电子科技文摘;2001年12期

相关会议论文 前10条

1 刘玮;刘淑娟;;建筑施工用电的安全防范系统工程及其可靠性研究[A];人—机—环境系统工程创立20周年纪念大会暨第五届全国人—机—环境系统工程学术会议论文集[C];2001年

2 ;VSL钢绞线斜拉索体系可靠性研究[A];中国公路学会桥梁和结构工程学会2002年全国桥梁学术会议论文集[C];2002年

3 刘金龙;;现代化钢铁企业电缆管理的人-机-环境系统可靠性研究[A];第六届全国人—机—环境系统工程学术会议论文集[C];2003年

4 许建军;孔学东;李斌;师谦;;MEMS及微机械加速度计可靠性研究[A];第十一届全国可靠性物理学术讨论会论文集[C];2005年

5 项止武;;电牵引采煤机电气系统可靠性的研究[A];全面建设小康社会：中国科技工作者的历史责任——中国科协2003年学术年会论文集（上）[C];2003年

6 曹志礼;;关于货车转向架可靠性问题的初步分析[A];货车学术研讨会论文集[C];2006年

7 王永新;;循环流化床锅炉运行的可靠性研究[A];核工业集团公司第八届可靠性成果发表会论文集[C];2006年

8 孙玉秋;;印刷机离合压装置可靠性分析[A];2005年全国机械可靠性学术交流会暨“车辆与工程装备质量与可靠性论坛”论文集[C];2005年

9 巩威;刘英;王丹;陈千圣;;平衡肘结构可靠性研究[A];庆祝中国力学学会成立50周年暨中国力学学会学术大会’2007论文摘要集（下）[C];2007年

10 彭成;王树鹏;贾志凯;;基于纠删码的数据消冗存储系统可靠性增强研究[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

相关重要报纸文章 前10条

1 美科利（香港）有限公司北京代表处;美科利业务可用性中心创造完美体验[N];通信产业报;2005年

2 ;你的产品有可用性吗[N];中国质量报;2003年

3 雅慧;Enterasys NetSight方案提高网络可控性、可用性[N];中国计算机报;2001年

4 ;万全 T200可用性与价格并重[N];中国计算机报;2002年

5 杨万丽;产品设计导入“可用性”[N];中国商报;2003年

6 中国电源学会副理事长 张广明;可靠性 Vs 可用性[N];网络世界;2004年

7 董唯元;可用性度量是惟一指标[N];中国计算机报;2006年

8 Andi Mann　编译 刘琦;实现增强性能和可用性管理[N];中国计算机报;2009年

9 CPW记者 曾宪勇;APC关注网络环境整体可用性[N];电脑商报;2004年

10 朗飞;磁盘备份 速度快了 可用性高了[N];中国计算机报;2004年

相关博士学位论文 前10条

1 左琼;基于冗余度理论的钢筋混凝土框架结构抗地震倒塌能力评估[D];中国建筑科学研究院;2012年

2 艾达;视频通信抗分组丢失技术研究[D];西安电子科技大学;2006年

3 慕建君;低密度纠删码和网格图复杂度的研究[D];西安电子科技大学;2002年

4 田敬;对等存储系统中的数据可用性与安全性研究[D];北京大学;2007年

5 宋剑;海洋平台结构在偶然灾害作用下的可靠性研究[D];浙江大学;2005年

6 刘帼巾;剩余电流动作保护器的可靠性研究[D];河北工业大学;2002年

7 石英学;噪声用于半导体大功率激光器及双极晶体管可靠性研究[D];吉林大学;2006年

8 常俊玲;功率器件无铅焊料焊接层可靠性研究[D];中国科学院研究生院（上海微系统与信息技术研究所）;2005年

9 华庆一;以用户为中心的系统分析、建模与设计过程研究[D];西北大学;2006年

10 方海光;我国教育软件价值评测研究[D];中国科学院研究生院（成都计算机应用研究所）;2006年

相关硕士学位论文 前10条

1 唐海浪;分布式存储系统的可靠性研究[D];上海交通大学;2009年

2 段建丽;面向网站可用性分析的可视化技术研究[D];大连海事大学;2003年

3 王玉华;黄河QD352型载货汽车大修可靠性研究[D];大连理工大学;2003年

4 江海苗;软件可用性辅助分析评估方法和工具研究[D];大连海事大学;2004年

5 王惠;基于虚拟现实技术的产品设计过程中的可用性研究[D];东华大学;2006年

6 张霞;计算机实验室系统可靠性研究[D];首都师范大学;2007年

7 马毓;中国大陆儿童网站信息可理解性研究[D];西南大学;2008年

8 彭霁;无线传感器网络的节能与可靠性研究[D];电子科技大学;2008年

9 李双明;基于可用性的移动商务采纳研究[D];大连理工大学;2009年

10 王桂荣;计算机集群技术的研究与应用[D];天津大学;2003年

本文编号：2622541