分布式环境下的多副本策略研究

发布时间：2017-06-23 18:14

  本文关键词：分布式环境下的多副本策略研究，由笔耕文化传播整理发布。

【摘要】：随着互联网的各种应用在生活中的普及度逐渐提高,全球数据量呈指数级别的增长。根据互联网数据中心的调查显示,早在2011年全球数据量已突破2万亿GB。IBM副总裁在2016年的闪存联盟会议中认为:以大数据为代表的新型应用正在给不同的行业带来机遇,尤其给IT领域的存储系统带来了新的挑战。随着大数据存储的不断挑战和发展,数据存储在安全性方面的困境也与日俱增,其中在数据的处理、传输、存储等方面体现得尤为突出。一旦出现安全问题,用户的个人隐私、好友联络情况、购物记录、检索习惯等信息都会有泄露的危险。面对数据存储在容量和安全性上出现的瓶颈,蓝光光盘库可以比较好的解决这些问题。首先,蓝光光盘库通过增加光盘的方式可以方便的扩充容量,可管理PB或EB级别的存储资源;其次,采用了RAID0、RAID5、RAID6技术,安全级别可以达到19N。本文将根据帕列托原则(大量的I/O请求访问少量的热门数据,而大部分的冷门数据访问频率却极低),在技术上引入蓝光光盘库作为底层的存储设备,搭建混合介质的存储系统。在引入蓝光光盘库到云存储系统之后,系统会面临如何保证分布式系统中副本之间的一致性,如何解决混合介质之间的数据迁移,以及数据迁移造成的读写一致性问题。针对以上问题,论文将要完成的工作如下:(1)对现有的副本一致性策略进行研究与分析,探讨一个适合混合介质存储的副本一致性策略,该策略综合用户设置、文件访问、副本信息等因素,能比较好的完成副本更新任务。(2)对存储系统的在线迁移技术进行研究与分析,探讨采用循环缓冲区减少访问冲突的方法,能比较好的完成在线迁移任务。
【关键词】：分布式系统 蓝光光盘 副本一致性 在线迁移 云存储
【学位授予单位】：电子科技大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP333
【目录】：

• 摘要5-6
• ABSTRACT6-12
• 第一章 绪论12-22
• 1.1 课题的研究背景12-17
• 1.1.1 云计算12-13
• 1.1.2 分布式系统13-14
• 1.1.3 数据存储发展过程14-17
• 1.2 国内外研究历史与现状17-19
• 1.2.1 一致性问题的提出17-18
• 1.2.2 一致性的研究现状18-19
• 1.3 研究内容19-20
• 1.3.1 多副本一致性20
• 1.3.2 数据在线迁移20
• 1.4 本文的结构安排20-22
• 第二章 相关理论知识22-32
• 2.1 分布式文件系统22-24
• 2.2 HDFS读写机制分析24-26
• 2.2.1 文件分块24
• 2.2.2 文件读取24-25
• 2.2.3 文件写入25-26
• 2.3 蓝光光盘存储26-28
• 2.3.1 光盘库虚拟化技术26-27
• 2.3.2 数据智能划分技术27-28
• 2.4 一致性模型28-31
• 2.4.1 以数据为中心的一致性模型28-29
• 2.4.2 数据中心协议的实现29-30
• 2.4.3 以用户为中心的一致性模型30
• 2.4.4 用户为中心协议的实现30-31
• 2.5 本章小结31-32
• 第三章 系统总体设计32-40
• 3.1 系统结构32-34
• 3.2 需求分析34-35
• 3.3 系统各个模块35-36
• 3.3.1 应用层模块35
• 3.3.2 系统层模块35-36
• 3.4 用户操作流程图36-39
• 3.4.1 一致性设置37
• 3.4.2 迁移触发设置37-38
• 3.4.3 文件分享38
• 3.4.4 文件存储38-39
• 3.4.5 文件下载39
• 3.4.6 文件删除39
• 3.5 本章小结39-40
• 第四章 改进的多副本一致性策略研究40-59
• 4.1 策略研究的目的40
• 4.2 现有模式的研究40-42
• 4.3 改进的多副本一致性策略研究42-48
• 4.3.1 一致性设计43
• 4.3.2 弱一致性策略43-48
• 4.3.2.1 文件价值计算44-45
• 4.3.2.2 参数的拟合45-46
• 4.3.2.3 文件更新队列46-47
• 4.3.2.4 副本更新队列47-48
• 4.3.2.5 定时更新48
• 4.4 改进的多副本一致性策略实现48-58
• 4.4.1 客户端模块48-49
• 4.4.2 服务器端模块49-54
• 4.4.2.1 文件价值计算50-51
• 4.4.2.2 文件更新队列51-53
• 4.4.2.3 副本更新队列53-54
• 4.4.3 实验验证54-58
• 4.4.3.1 实验评价指标54
• 4.4.3.2 客户端响应时间实验对比54-55
• 4.4.3.3 一致性完成时间实验对比55-57
• 4.4.3.4 参数选择测试57-58
• 4.5 本章小结58-59
• 第五章 改进的在线迁移策略研究59-79
• 5.1 策略研究的目的59-60
• 5.2 现有模式的研究60-62
• 5.3 改进的在线迁移策略研究62-67
• 5.3.1 缓冲区的生产者消费者问题62
• 5.3.2 循环缓冲区62-64
• 5.3.3 具体的改进思路64-67
• 5.4 改进的在线迁移策略实现67-78
• 5.4.1 监控触发模块67-69
• 5.4.2 在线迁移模块69-71
• 5.4.3 读写一致性模块71-74
• 5.4.4 蓝光光盘库接口模块74-75
• 5.4.5 实验验证75-78
• 5.4.5.1 实验评价指标75
• 5.4.5.2 运行时间实验对比75-76
• 5.4.5.3 I/O等待实验对比76-77
• 5.4.5.4 锁冲突实验对比77-78
• 5.5 本章小结78-79
• 第六章 系统测试79-84
• 6.1 测试环境79
• 6.2 功能测试79-83
• 6.2.1 文件上传79-80
• 6.2.2 文件下载80-81
• 6.2.3 文件删除81
• 6.2.4 文件分享81-82
• 6.2.5 一致性设置82
• 6.2.6 迁移触发设置82-83
• 6.3 本章小结83-84
• 第七章 总结与展望84-86
• 7.1 本文总结84
• 7.2 进一步工作84-86
• 致谢86-87
• 参考文献87-91

【参考文献】

中国期刊全文数据库 前6条

1 武特;陈莉君;;基于inotify的内核态与用户态跨平台数据交互[J];西安邮电学院学报;2012年04期

2 江建慧;章力源;金涛;陈川;;基于k循环随机序列的动态缓冲区溢出防御[J];同济大学学报(自然科学版);2010年06期

3 陈全;邓倩妮;;云计算及其关键技术[J];计算机应用;2009年09期

4 李振宇;谢高岗;李忠诚;;PATCOM:基于分割树的无结构P2P系统一致性维护方法[J];计算机学报;2007年09期

5 刘天时;孟东升;王田均;赵嵩正;;信息系统数据迁移方法研究与应用[J];西北大学学报(自然科学版);2006年01期

6 刘海岩,梁建龙;基于中间件的分布式系统开发过程的研究[J];计算机应用研究;2004年01期

中国硕士学位论文全文数据库 前1条

1 徐琼瑶;分级存储中数据迁移机制的实现[D];华中科技大学;2013年

  本文关键词：分布式环境下的多副本策略研究，由笔耕文化传播整理发布。

，

本文编号：475892