大数据环境下数据容错技术研究与实现

发布时间：2017-08-01 01:12

  本文关键词：大数据环境下数据容错技术研究与实现

  更多相关文章： 大数据 容错技术 存储系统 缓存 磁盘 数据复制

【摘要】：大数据时代来临,信息系统需要存储和处理的数据指数级增长。当前存储系统的设计还是局限在考虑数据中心内部单位的数据处理,更加关注于OLTP与OLAP业务。在数据容错方面,传统的存储系统通过节点内容错、节点间数据备份等方式进行数据容错。这种容错方式,具体容错投入高、没有考虑全局数据和系统数据等问题,需要进行一步在设计中进行改进。本文通过对大数据时代数据特征的分析,结合当前技术发展趋势,提出了大数据背景下高可靠、高性能、高扩展的存储体系结构参考模型,确定了容错机制的层次结构及每层容错机制的实现技术方向,并以此为基础,对存储系统系统性的容错机制进行了分析研究,对容错机制的关键、核心问题提出解决方案。在系统内部,本文从缓存、磁盘问、磁盘内三个层面对数据容错技术进行分析。缓存层面通过缓存镜像、数据掉电保护机制等技术解决数据中心掉电时数据完整性保证问题；磁盘间的数据保护技术主要以RAID本主,本文在传统RAID实现基础之上,结合当前存储体系结构,详细分析了RAID性能优化问题及Write Hole解决方案；磁盘内通过对磁道运行环境、生命周期模型分析的基础之上,进一步分析了磁盘巡检和磁盘自修复技术实现基本理论,提出了结合RAID校验的坏扇区修复策略。在存储系统间,本文详细分析了远程复制的实现机理和核心的技术点,针对远程复制中的数据一致性问题、IO冲突问题进行了分析,并提出了相应的解决方案。
【关键词】：大数据 容错技术 存储系统 缓存 磁盘 数据复制
【学位授予单位】：中国科学院大学(工程管理与信息技术学院)
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP333
【目录】：

• 摘要5-6
• Abstract6-9
• 第一章 绪论9-17
• 1.1 研究背景与意义9-10
• 1.1.1. 存储面临新挑战9
• 1.1.2. 数据生命周期延长9-10
• 1.1.3. 高效可靠的容错机制需求10
• 1.2 本课题的研究进展10-11
• 1.3 本文主要研究内容11-12
• 1.4 大数据应用的基本特点12-13
• 1.4.1. 海量数据存储12
• 1.4.2. 数据资源具有异构性12
• 1.4.3. 数据访问对存储并发要求高12-13
• 1.5 大数据应用的突出特点13-14
• 1.5.1. 数据具有不确定性13
• 1.5.2. 数据具有时效性和空间性13-14
• 1.5.3. 数据具有高频度访问特点14
• 1.6 本章小结14-17
• 第二章 大数据背景下容错体系结构17-25
• 2.1 存储体系结构演进17-20
• 2.2 大数据环境下数据容错体系结构20-21
• 2.3 存储容错机制在存储系统中的位置21-23
• 2.4 本章小结23-25
• 第三章 存储系统缓存容错机制25-39
• 3.1 概述25-27
• 3.2 缓存数据组织27-28
• 3.3 缓存镜像28-31
• 3.4 脏页落盘处理31-35
• 3.5 缓存掉电保护设计35-38
• 3.6 本章小结38-39
• 第四章 磁盘数据容错39-65
• 4.1 概述39-42
• 4.2 RAID位图备份42-46
• 4.3 磁盘巡检46-53
• 4.3.1. 磁盘扫描48-51
• 4.3.2. 磁盘扫描SCSI指令51-52
• 4.3.3. 实现效果分析52-53
• 4.4 磁盘自修复53-64
• 4.4.1. 预留区域55-56
• 4.4.2. 磁盘错误分析56-57
• 4.4.3. 数据修复分析57-64
• 4.5 本章小节64-65
• 第五章 系统间数据容错65-77
• 5.1 数据复制体系结构66-67
• 5.2 远程复制模式67-68
• 5.3 元数据管理68-74
• 5.3.1. 元数据空间管理69-70
• 5.3.2. 数据组织70-71
• 5.3.3. 元数据预留分析71-73
• 5.3.4. 元数据一致性保证机制73-74
• 5.4 IO冲突处理74
• 5.5 本章小节74-77
• 第六章 系统测试与分析77-81
• 6.1 系统测试环境77-78
• 6.2 系统可用性测试78
• 6.3 系统性能测试78-79
• 6.4 数据一致性测试79
• 6.5 小结79-81
• 第七章 结论与展望81-83
• 7.1 结论81
• 7.2 展望81-83
• 参考文献83-87
• 致谢87-89
• 个人简历、在学期间发表的论文与研究成果89

【相似文献】

中国期刊全文数据库 前10条

1 ;未雨绸缪话容错技术[J];计算机与网络;2004年06期

2 夏祖德;雷镜湖;;硬件容错技术[J];电子技术;1987年10期

3 周修廉;陈是荣;;分布式计算机系统容错技术[J];哈尔滨科学技术大学学报;1987年03期

4 梁思礼;容错技术在航天领域中的应用[J];系统工程与电子技术;1993年12期

5 陈万福;查新检索工作中的容错理论与容错技术[J];医学情报工作;2001年05期

6 郑平;;容错技术在数据集中系统中的应用[J];金融电子化;2001年11期

7 蒙建波,吴银成,杨俊永;容错技术与仪表的发展[J];仪器仪表学报;2002年S3期

8 黎珊珊;实时分布式计算机系统的容错技术研究[J];计算机与数字工程;2002年06期

9 张郭军,王荣;网络服务器的容错技术[J];渭南师范学院学报;2002年05期

10 ;揭密容错技术的前世今生[J];计算机与网络;2004年16期

中国重要会议论文全文数据库 前10条

1 蒙建波;吴银成;杨俊永;;容错技术与仪表的发展[A];第三次全国会员代表大会暨学术会议论文集[C];2002年

2 王东盛;;容错技术在卫星控制系统中的应用[A];第十届全国容错计算学术会议论文集[C];2003年

3 李卫东;;容错技术在梅钢的应用[A];全国冶金自动化信息网2012年年会论文集[C];2012年

4 庞海洋;李新明;;软件容错[A];第十届全国容错计算学术会议论文集[C];2003年

5 闵应骅;;网络容错与安全研究述评[A];第十届全国容错计算学术会议论文集[C];2003年

6 于洪涛;黄文轩;王和;;一种双机容错方案及其应用[A];开创新世纪的通信技术——第七届全国青年通信学术会议论文集[C];2001年

7 龚健;杨孟飞;;硬件进化系统的容错性研究[A];第十四届全国容错计算学术会议(CFTC'2011)论文集[C];2011年

8 欧阳一鸣;余雅琼;郭凯;;基于同构片上网络拓扑可重构的容错硬件结构[A];第六届中国测试学术会议论文集[C];2010年

9 罗宏;宿红毅;战守义;;无线传感器网络故障诊断与容错技术研究进展[A];第八届全国信息获取与处理学术会议论文集[C];2010年

10 高航;罗宇;;RTEMS上基于软件重算的容错支撑设计研究[A];2008年全国开放式分布与并行计算机学术会议论文集(下册)[C];2008年

中国重要报纸全文数据库 前10条

1 艾先;容错技术扫描[N];中国贸易报;2004年

2 ;容错技术的发展与应用展望[N];计算机世界;2001年

3 刘雨;让容错服务器“平民化”[N];中国计算机报;2007年

4 常文杰;新容错浪潮[N];网络世界;2004年

5 胡志敏;“双核”容错服务器来了[N];政府采购信息报;2007年

6 ;容错技术应用前景[N];中国高新技术产业导报;2004年

7 孔令男;容错技术高端商用领域的核心[N];中国国门时报;2004年

8 辽河石油勘探局物资公司 赵雁　林斌;存储容错：鱼与熊掌可以兼得[N];中国计算机报;2010年

9 记者刘雨;Stratus 加大中国行业市场拓展[N];中国计算机报;2003年

10 樊强;容错服务器 服务未来[N];中国电脑教育报;2004年

中国博士学位论文全文数据库 前10条

1 黄达;基于忆阻器的自治容错技术研究[D];国防科学技术大学;2014年

2 孙钦莹;大规模自然灾害应急准备的容错规划[D];哈尔滨工业大学;2016年

3 李旭;基于非易失内存的高性能计算容错技术研究[D];国防科学技术大学;2013年

4 刘玲霞;Web服务容错关键技术研究[D];国防科学技术大学;2006年

5 林勇;基于进化型硬件的容错方法研究[D];中国科学技术大学;2007年

6 孙晓星;面向方面的软件容错模型设计与分析技术[D];华东理工大学;2012年

7 李海山;面向恢复的容错计算技术研究[D];哈尔滨工程大学;2007年

8 肖勇;面向航天的多源信息流系统综合诊断与容错研究[D];东华大学;2010年

9 赵天绪;集成电路缺陷分布模型和容错技术研究[D];西安电子科技大学;1999年

10 朱萍;硬实时容错调度算法研究[D];华中科技大学;2011年

中国硕士学位论文全文数据库 前10条

1 郑福真;高扩展高容错流式处理系统设计与实现[D];浙江大学;2015年

2 吴方军;MPI环境下多副本容错技术研究[D];东南大学;2015年

3 梁贺斌;基于可信度的DSP软件冗余容错表决方法研究[D];中国科学院国家空间科学中心;2016年

4 孟冲;小型无人机负荷分担式容错飞行控制软件设计[D];南京航空航天大学;2015年

5 关国栋;Hadoop容错调度技术研究[D];西南交通大学;2016年

6 杨爽;基于FPGA的CAN接口抗SEU容错方法研究[D];哈尔滨工业大学;2016年

7 曹舒婷;基于TSV的3D NoC容错及热优化设计技术研究[D];合肥工业大学;2016年

8 张林伟;级联多电平有源电力滤波器及其容错技术的研究[D];辽宁工程技术大学;2014年

9 吴庆民;大数据环境下数据容错技术研究与实现[D];中国科学院大学(工程管理与信息技术学院);2016年

10 王吉;虚拟化云环境下面向容错的任务调度与资源优化方法研究[D];国防科学技术大学;2014年

，

本文编号：601898