云存储系统中副本放置策略研究

发布时间：2017-11-01 02:01

  本文关键词：云存储系统中副本放置策略研究

  更多相关文章： 云存储系统 数据复制 分簇 副本放置 小文件

【摘要】：近年来,随着计算、存储及通信技术的发展,全球数据量呈现出爆炸式增长。面对当前PB级的海量存储需求,云存储技术已经成为当前互联网中共享存储和数据服务的基础技术,云存储系统普遍利用数据复制来提高数据可用性,增强系统容错能力和改善系统性能。副本放置技术是云存储系统数据复制过程中的关键技术。然而,副本的引入也带来了存储带宽开销、副本布局、负载均衡等诸多问题。本文从两个不同的角度分别设计了副本放置策略。(1)针对云存储系统中节点间的负载均衡问题,本文提出了一种基于分簇的数据复制策略,该策略包括产生数据复制的时机判断、复制副本数量的决定以及如何放置复制所产生的数据副本。在放置数据副本时,本文设计了一种基于分簇的负载均衡副本放置方法。相关的仿真试验表明,本文提出的基于分簇的负载均衡副本放置方法是可行的,并且具有良好的性能。(2)针对云存储系统中存在的海量小文件问题,本文提出了读写分离模式的小文件存储模型,基于该模型设计了一个D2I副本放置策略,该策略包括小文件副本的合并、小文件副本的层级设定以及小文件副本的动态层级调整。相关的仿真实验表明,本文提出的面向小文件的副本放置策略可以有效地提升文件的读取效率。最后设计并实现了云存储系统,同时设计了相应的数据库,并将本文提出了副本放置策略应用在云存储系统的节点控制模块与小文件处理模块,为OpenStack云管理平台提供了存储服务,实现了云存储的基础功能,实际证明了副本放置算法的可行性以及系统的稳定性。
【关键词】：云存储系统 数据复制 分簇 副本放置 小文件
【学位授予单位】：南京邮电大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333
【目录】：

• 摘要4-5
• Abstract5-8
• 第一章 绪论8-12
• 1.1 课题背景8-9
• 1.2 课题来源及论文的主要内容9-10
• 1.3 论文的组织结构10-12
• 第二章 云存储中的数据复制与副本放置技术12-20
• 2.1 云存储概述12-15
• 2.1.1 云计算的定义12-13
• 2.1.2 云存储的定义13
• 2.1.3 云存储的体系结构13-15
• 2.2 数据复制概述15-17
• 2.2.1 数据复制的定义15
• 2.2.2 数据复制的模式15-16
• 2.2.3 数据副本的管理策略16-17
• 2.3 云存储系统中副本放置技术17-19
• 2.3.1 副本放置技术的研究点17-19
• 2.3.2 副本放置存在的问题与挑战19
• 2.4 本章小结19-20
• 第三章 基于负载均衡的副本放置策略研究20-33
• 3.1 系统模型及问题描述20-22
• 3.2 确定数据何时复制及复制数量22-24
• 3.3 基于分簇的负载均衡副本放置方法24-28
• 3.3.1 分簇24-26
• 3.3.2 副本放置方法26-28
• 3.4 性能分析28-32
• 3.5 本章小结32-33
• 第四章 面向小文件的副本放置策略研究33-50
• 4.1 云存储系统中小文件存储需求分析33-36
• 4.1.1 小文件的定义33-34
• 4.1.2 小文件的存储需求34-35
• 4.1.3 小文件存储存在的问题35-36
• 4.2 小文件副本合并36-39
• 4.2.1 小文件分类36-37
• 4.2.2 小文件合并规则37-38
• 4.2.3 小文件合并流程38-39
• 4.3 小文件副本存储策略39-45
• 4.3.1 小文件副本存储模型40-41
• 4.3.2 小文件的读写流程41-44
• 4.3.3 小文件副本放置算法44-45
• 4.4 性能分析45-49
• 4.5 本章小结49-50
• 第五章 基于副本技术的云存储系统优化与实现50-70
• 5.1 OpenStack简介与环境搭建50-55
• 5.1.1 OpenStack简介50-51
• 5.1.2 安装前准备工作51-52
• 5.1.3 使用Galera管理MySQL集群52-55
• 5.2 云存储的设计与实现55-59
• 5.2.1 系统架构设计56-57
• 5.2.2 数据库设计与实现57-59
• 5.3 副本放置策略的实现59-64
• 5.3.1 选择目标节点放置副本59-60
• 5.3.2 选择最优路径传输数据60-61
• 5.3.3 小文件副本放置的优化61-64
• 5.4 云存储功能实现与测试64-69
• 5.4.1 创建登录账户65
• 5.4.2 创建和删除文件夹65-67
• 5.4.3 上传和删除对象67-69
• 5.5 本章小结69-70
• 第六章 总结与展望70-72
• 6.1 总结70
• 6.2 展望70-72
• 参考文献72-75
• 附录1 攻读硕士学位期间撰写的论文75-76
• 附录2 攻读硕士学位期间申请的专利76-77
• 附录3 攻读硕士学位期间参加的科研项目77-78
• 致谢78

【相似文献】

中国期刊全文数据库 前10条

1 李红;蓝光存储系统 光盘容量高达23G[J];信息记录材料;2004年01期

2 ;存储系统 金融行业应用卓越奖 医疗行业应用卓越奖[J];每周电脑报;2004年20期

3 诺拉;EMC Symmetrix DMX-3存储系统 超大容量 高速存取[J];中国计算机用户;2005年31期

4 谢世诚;;浪潮推出4Gb光纤存储系统[J];微型机与应用;2006年07期

5 ;昆腾分级存储系统[J];软件世界;2009年11期

6 ;超低功耗云存储系统或被地方政府看好[J];中国有线电视;2013年08期

7 汤赫男;;云存储系统的分析与应用研究[J];计算机光盘软件与应用;2013年24期

8 谌伟;;云存储系统的分析与应用探讨[J];数字技术与应用;2013年10期

9 雅君;跟上企业的匆匆脚步——利用HP SureStoreEXP256构筑企业存储系统[J];中国计算机用户;2000年08期

10 贾莉;;Symmetrix8000实现19TB存储[J];每周电脑报;2000年18期

中国重要会议论文全文数据库 前10条

1 赵志刚;;存储系统在企业信息化中的应用[A];2005年安徽通信论文集[C];2006年

2 黄晓峰;张杰;;矿井信息中心存储系统设计[A];安全高效矿井机电装备及信息化技术——陕西省煤炭学会学术年会论文集（2011）[C];2011年

3 孙哲;李昌银;;构建核电高可用云存储系统[A];2012电力行业信息化年会优秀论文专辑[C];2012年

4 焦超;周天彤;李祥学;李建华;;面向灾备的高性能可信存储系统设计[A];第十一届保密通信与信息安全现状研讨会论文集[C];2009年

5 汪位龙;;设计院存储系统建设初探[A];中国公路学会计算机应用分会2004年年会学术论文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存储系统分析[A];2009年中国高校通信类院系学术研讨会论文集[C];2009年

7 王克敏;张玺;胡江凯;王毅涛;;NWP资料归档方法及其存储系统的应用[A];中国气象学会2006年年会“中尺度天气动力学、数值模拟和预测”分会场论文集[C];2006年

8 孙哲;李昌银;;DeDu:基于云计算的冗余删除存储系统[A];电力行业新一代信息技术研讨会论文集[C];2011年

9 高小伍;党齐民;林晨;;校园网存储系统的研究与实现[A];中国高等教育学会教育信息化分会第十次学术年会论文集[C];2010年

10 宫海林;郭长国;苑洪亮;王怀民;;支持事务的非结构化数据聚合存储系统GSL[A];2006年全国开放式分布与并行计算机学术会议论文集（三）[C];2006年

中国重要报纸全文数据库 前10条

1 ;第三季度中国存储系统市场达19.1亿元[N];中国高新技术产业导报;2005年

2 本报记者 薛斐;服务：存储系统的灵魂[N];计算机世界;2002年

3 单群一;惠普推出全新一体化存储系统[N];中国税务报;2007年

4 ;浪潮推出4Gb光纤存储系统[N];人民邮电;2006年

5 ;今年第二季度 存储系统市场价值达12.6亿元[N];人民邮电;2006年

6 郭;日立推出普及型存储系统[N];计算机世界;2007年

7 陈耀光;朗登 扛起存储系统设计院的大旗[N];中国企业报;2001年

8 ;富士通存储系统全面升级[N];网络世界;2009年

9 ;EMC亚洲生产制造中心落户深圳[N];网络世界;2009年

10 临履;存储系统有了“设计院”[N];网络世界;2001年

中国博士学位论文全文数据库 前10条

1 陆承涛;存储系统性能管理问题的研究[D];华中科技大学;2010年

2 聂雪军;内容感知存储系统中信息信息生命周期管理关键技术研究[D];华中科技大学;2011年

3 罗东健;大规模存储系统高可靠性关键技术研究[D];华中科技大学;2011年

4 聂雪军;内容感知存储系统中信息生命周期管理关键技术研究[D];华中科技大学;2010年

5 王鹏;低密度奇偶校验码应用于存储系统的关键技术研究[D];华中科技大学;2013年

6 刁莹;用数学建模方法评价存储系统性能[D];哈尔滨工程大学;2013年

7 符青云;面向大规模流媒体服务的高性能存储系统研究[D];电子科技大学;2009年

8 王玉林;多节点容错存储系统的数据与缓存组织研究[D];电子科技大学;2010年

9 田敬;对等存储系统中的数据可用性与安全性研究[D];北京大学;2007年

10 李怀阳;进化存储系统数据组织模式研究[D];华中科技大学;2006年

中国硕士学位论文全文数据库 前10条

1 冯汉超;基于Hadoop的分布式副本策略研究[D];河北工程大学;2015年

2 张明;IaaS中基于热点数据的存储系统研究与实现[D];哈尔滨工业大学;2015年

3 蒋静远;基于数据通道的非结构化数据多存储系统[D];浙江大学;2015年

4 郭晖;面向高清视频监控的流存储系统设计与实现[D];电子科技大学;2015年

5 许孟杰;嵌入式快速存储模块的研究与实现[D];中国舰船研究院;2015年

6 何洁和;面向POI的分布式结构化存储系统存储引擎设计与实现[D];电子科技大学;2014年

7 王晓;混合存储系统高效快照技术研究[D];北京理工大学;2015年

8 邱登峰;基于Hadoop可公共审计云存储的设计与实现[D];大连理工大学;2015年

9 张致元;电子商品存储系统设计与研究[D];复旦大学;2014年

10 刘秉煦;云存储环境下的混合存储算法研究与实现[D];上海交通大学;2015年

，

本文编号：1124718