大数据存储中的容错关键技术综述

发布时间：2018-01-11 00:11

  本文关键词：大数据存储中的容错关键技术综述　出处：《南京邮电大学学报(自然科学版)》2014年04期 　论文类型：期刊论文

  更多相关文章： 大数据存储 分布式存储 容错 复制 纠删码 再生码

【摘要】：不断增长的海量数据需要被可靠存储,而分布式存储系统庞大的节点规模和数据规模,大大提升了发生节点失效的概率,容错技术成为大数据存储中不可忽视的关键技术。文中介绍了数据容错的两种基本策略:复制和纠删码,并分别总结了将这两种容错策略具体应用于大数据存储时所面对的问题和相关解决技术,如与基于复制的容错技术相关的副本系数设置、副本放置策略、副本一致性策略、副本修复策略和纠删码领域的再生码技术等。
[Abstract]:The growing mass of data needs to be stored reliably, and the large scale of nodes and data in distributed storage system greatly increases the probability of node failure. Fault-tolerant technology has become the key technology in big data storage. This paper introduces two basic strategies of data fault-tolerant: replication and erasure code. And summarizes the specific application of these two fault-tolerant strategies to big data storage problems and related solutions, such as replica coefficient settings related to replication-based fault-tolerant technology, replica placement strategy. Replica consistency strategy, replica repair strategy and erasure codes in the field of reproduction code technology.
【作者单位】： 南京邮电大学宽带无线通信与传感网技术教育部重点实验室;
【基金】：国家自然科学基金(60973140,61170276,61373135,) 江苏省产学研项目(BY2013011) 江苏省科技型企业创新基金(BC2013027) 江苏省高校自然科学研究重大项目(12KJA520003)资助项目
【分类号】：TP333;TP302.8
【正文快照】： 0引言容错技术是指当计算机系统在运行时由于器件老化、错误输入、外部环境影响和原始设计错误等因素发生硬件故障或软件错误时维持系统正常工作的技术总和[1],它是提高系统可靠性的重要手段。早在20世纪50年代计算机容错技术理论就被提出,1956年,Von Neumann首先提出用低可靠

【相似文献】

相关期刊论文 前10条

1 史鸣飞 ,龙东东;SAN&NAS:数据存储技术介绍[J];中国税务;2002年06期

2 赖莉;数据存储方案分析[J];渝西学院学报(自然科学版);2004年04期

3 张国喜;;虚拟化存储在图书馆数字化建设中的应用[J];情报探索;2009年10期

4 葛健;董浩斌;郑海兵;;嵌入式SD卡存储器的设计[J];电子技术应用;2010年05期

5 ;集群RAID增强数据存储 nStor和Storage Dimensions Vinca联合提供相应硬件[J];每周电脑报;1997年33期

6 ;新品速递[J];每周电脑报;2001年41期

7 张醒天;TTDS~(TM)技术数据存储的“安全之门”[J];网络安全技术与应用;2003年09期

8 ;数据存储大仓库——西部数据WD1200 SATA硬盘[J];电脑采购周刊;2004年36期

9 杨尊先;于映;林丽华;李昕欣;;基于NEMS技术的硅基纳机电探针阵列器件研究[J];传感技术学报;2005年04期

10 李想;;凭WORM技术新生——2005年磁带市场趋势分析[J];每周电脑报;2005年05期

相关会议论文 前10条

1 宾月景;黄蕾;赵福群;黄新;张复实;;轮烯金属配合物应用于高密度光存储体系的研究[A];2006中国科协年会——数字成像技术及影像材料科学学术交流会论文集[C];2006年

2 陈进才;程伟;陈希;周功业;;寄生存储冗余机制与实现技术[A];第15届全国信息存储技术学术会议论文集[C];2008年

3 张艳秋;李建中;杨艳;张兆功;;混合负载多媒体服务器的数据存储和数据提交[A];第二十届全国数据库学术会议论文集（研究报告篇）[C];2003年

4 韩德志;;内网数据存储安全关键技术的研究与实现[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

5 郭梁;赵汝棉;;浅析蓝光光盘技术[A];2005（首届）中国数字影视节目制作与接收技术交流展示会论文集[C];2005年

6 李庆;周丽南;孙敏;闫士职;;基于P87C591单片机的CF卡接口电路设计[A];2008中国电工技术学会电力电子学会第十一届学术年会论文摘要集[C];2008年

7 王悦;;基于CPLD实现数据存储控制接口方法的研究[A];2004全国测控、计量与仪器仪表学术年会论文集（下册）[C];2004年

8 霍跃华;;IP SAN在煤炭企业数据存储的应用研究[A];煤矿自动化与信息化——第20届全国煤矿自动化与信息化学术会议暨第2届中国煤矿信息化与自动化高层论坛论文集[C];2010年

9 樊雪梅;;关于云计算技术发展的研究与综述[A];中国新闻技术工作者联合会2011年学术年会论文集（下篇）[C];2011年

10 刘文红;戴卫;杨健;;基于CPLD的可编程固态数据存储装置设计[A];四川省电子学会传感技术第九届学术年会论文集[C];2005年

相关重要报纸文章 前10条

1 谭勇 晓弈;网络时代的数据存储[N];人民邮电;2001年

2 四川 万琳;提高24C04数据存储可靠性的方法[N];电子报;2002年

3 柯志明;绿化数据存储的8大策略[N];网络世界;2007年

4 本报记者 管德泳;朗登倾力打造数据存储新理念[N];中国企业报;2001年

5 记者 毛磊;硅谷公司开发出数据存储新技术[N];新华每日电讯;2009年

6 ;2010年中小企业数据存储市场六大趋势[N];网络世界;2010年

7 屈涛;将财务数据存储在“云”端[N];中国会计报;2011年

8 清水　编译;主数据存储的六个级别[N];计算机世界;2010年

9 ;网络世界2009年度应用存储创新产品奖[N];网络世界;2009年

10 张伟;谁将成为硬盘的继任者[N];中国计算机报;2008年

相关博士学位论文 前10条

1 曾碧卿;分布式计算中并行I/O调度策略研究[D];中南大学;2005年

2 李敏;基于协同异构模型的成形模拟计算加速[D];华中科技大学;2010年

3 魏青松;大规模分布式存储技术研究[D];电子科技大学;2004年

4 孙照焱;基于生物免疫机制的附网存储关键技术研究[D];清华大学;2004年

5 王禹;分布式存储系统中的数据冗余与维护技术研究[D];华南理工大学;2011年

6 胡衍雷;飞秒激光多维信息存储关键技术研究[D];中国科学技术大学;2012年

7 李明强;磁盘阵列的纠删码技术研究[D];清华大学;2011年

8 项利萍;RAID-6存储系统中故障修复问题研究[D];中国科学技术大学;2013年

9 赵培;闪存的存储管理及索引方法研究[D];华中科技大学;2011年

10 岳银亮;存储系统低能耗数据布局技术研究[D];华中科技大学;2010年

相关硕士学位论文 前10条

1 晏亚飞;移动通讯设备高可用系统中的数据存储技术[D];清华大学;2003年

2 史玉丽;基于嵌入式的数据存储与通信模块的设计[D];内蒙古师范大学;2012年

3 胡海光;钻探工程项目数据存储及其安全的应用研究[D];中国地质大学(北京);2012年

4 张帆;支持多种接口的数据存储系统设计与实现[D];西安电子科技大学;2013年

5 平利强;基于云计算的海量时空数据存储及挖掘方法的研究和应用[D];杭州电子科技大学;2014年

6 张洪娜;云计算平台中数据存储与文件管理的研究[D];广东工业大学;2011年

7 杨灿;基于HDFS的华图在线文库系统数据存储与管理研究[D];中南大学;2013年

8 单旭;异构大数据存储方法研究[D];北京交通大学;2014年

9 孙莉莉;基于DSP的自动垂直钻井系统数据存储的研究[D];中国石油大学;2010年

10 韦峰;嵌入式实时数据存储传输系统设计[D];国防科学技术大学;2010年

，

本文编号：1407345