云存储系统中副本管理机制的研究

发布时间：2017-05-27 19:17

  本文关键词：云存储系统中副本管理机制的研究，，由笔耕文化传播整理发布。

【摘要】：网络信息急剧增长的环境中，云存储系统的副本管理机制应满足系统的高可靠性、良好的负载均衡性、高副本利用率、低网络拥塞概率等需求。 本文提出了两个关于副本管理方法的策略—基于节点分组与分布式哈希表技术的副本部署策略和基于数据分类与流行度预测的副本复制策略,并且对应地进行了基于副本部署机制和副本复制机制的副本管理模块的设计。本文主要工作如下： 1.基于节点分组与分布式哈希表技术的副本部署策略。该策略将云存储系统中的节点以灾难域为单位进行划分，并对节点和副本以分布式哈希表技术进行映射；为了防止计算机节点过热，仅考虑热度较低的节点进行副本存储。本策略轻量级自适应的复制方法相比具有更好的系统可靠性，与基于服务质量感知的核心选择副本部署策略和基于多层虚拟节点环结构的副本部署策略相比，具有更好的系统负载均衡性。 2.基于数据分类与流行度预测的副本复制策略。在该策略中，为了减少信息访问高峰期的网络拥塞问题，同时较好地控制副本全局数量，归纳了用户的数据访问规律，并检测在同访问规律下可以提前创建和部署的数据副本。此副本复制策略主要包含判断当前数据类型、计算期望副本数及热点副本处理三项内容。与单纯流行度复制策略相比较，该副本复制策略能以更少的副本数满足用户的信息需求，并且使得在访问高峰期，高温节点数量较少。 3.副本管理机制的模块设计。本文副本管理机制包含五个模块：为节点和数据进行标识的资源逻辑组织模块；创建原始数据两份子副本的初始副本复制模块；提前创建副本的副本预测复制模块；将副本存储于目标节点的副本部署模块；节点自行检查负载的热点检测模块。
【关键词】：云存储 副本部署 副本复制 分布式哈希表
【学位授予单位】：南京邮电大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333
【目录】：

• 摘要4-5
• Abstract5-8
• 第一章 绪论8-14
• 1.1 研究背景8-11
• 1.2 研究意义11-12
• 1.2.1 云存储面临的副本管理问题11-12
• 1.2.2 云存储中的副本部署与副本复制12
• 1.3 本文主要工作与论文组织结构12-13
• 1.3.1 本文主要工作12-13
• 1.3.2 论文组织结构13
• 1.4 本章小结13-14
• 第二章 云存储及副本管理机制的相关研究14-22
• 2.1 云存储14-17
• 2.1.1 云存储体系架构14-15
• 2.1.2 云存储关键技术15-17
• 2.2 副本管理机制17-18
• 2.3 资源定位技术18-19
• 2.4 相关工作19-21
• 2.5 本章小结21-22
• 第三章 云存储系统中的副本部署22-36
• 3.1 问题分析22-24
• 3.1.1 副本部署与系统性能22
• 3.1.2 副本部署策略22-24
• 3.2 基本思想24-25
• 3.3 基于分组与 DHT 技术的副本部署策略25-31
• 3.3.1 节点分组25-26
• 3.3.2 DHT 技术的应用26-27
• 3.3.3 副本组织27-29
• 3.3.4 热度计算29-30
• 3.3.5 副本部署30-31
• 3.4 实验验证与性能分析31-35
• 3.4.1 实验平台 OMNet++31
• 3.4.2 实验设置31-32
• 3.4.3 实验结果与性能分析32-35
• 3.5 本章小结35-36
• 第四章 云存储系统中的副本复制36-46
• 4.1 问题分析36
• 4.2 基本思路36-37
• 4.3 基于数据分类与流行度预测的副本复制策略37-42
• 4.3.1 预测模型分析37-39
• 4.3.2 预测副本数39-41
• 4.3.3 副本添加/删除41
• 4.3.4 预测型决策的补充——热点型决策41-42
• 4.4 实验验证与性能分析42-45
• 4.4.1 实验设置42-43
• 4.4.2 实验结果与性能分析43-45
• 4.5 本章小结45-46
• 第五章 云存储系统中副本管理模块的设计46-58
• 5.1 模块设计思路46-52
• 5.1.1 模块设计框架46
• 5.1.2 模块设计的相关数据结构46-50
• 5.1.3 模块设计相关流程50-52
• 5.2 模块设计与功能实现52-57
• 5.2.1 资源逻辑组织模块52-53
• 5.2.2 初始副本复制模块53-54
• 5.2.3 副本预测复制模块54-56
• 5.2.4 副本部署模块与热点检测模块56-57
• 5.3 本章小结57-58
• 第六章 总结与展望58-59
• 6.1 总结58
• 6.2 展望58-59
• 参考文献59-62
• 致谢62-63
• 附录 攻读硕士学位期间撰写的论文63

【相似文献】

中国期刊全文数据库 前10条

1 于翔;日立数据推出Lightning 9900 V系列存储系统[J];微电脑世界;2002年11期

2 周可,张江陵,冯丹;基于数据块的对等存储系统的设计与实现[J];计算机工程与科学;2003年03期

3 毛宇星;存储系统未来发展的新趋势[J];中国金融电脑;2004年03期

4 王洛;制造业存储系统应用选型[J];电子商务世界;2004年04期

5 李玮;日立力推新存储系统[J];微电脑世界;2004年11期

6 ;存储系统 电信行业服务满意奖[J];每周电脑报;2004年20期

7 ;存储系统 金融行业服务满意奖 电信行业应用卓越奖[J];每周电脑报;2004年20期

8 ;存储系统 制造行业产品创新奖[J];每周电脑报;2004年20期

9 ;存储系统 电信行业技术领先奖[J];每周电脑报;2004年20期

10 ;快速恢复免重安装——山东师范大学完成图书馆存储系统建设[J];每周电脑报;2004年28期

中国重要会议论文全文数据库 前10条

1 赵志刚;;存储系统在企业信息化中的应用[A];2005年安徽通信论文集[C];2006年

2 黄晓峰;张杰;;矿井信息中心存储系统设计[A];安全高效矿井机电装备及信息化技术——陕西省煤炭学会学术年会论文集（2011）[C];2011年

3 孙哲;李昌银;;构建核电高可用云存储系统[A];2012电力行业信息化年会优秀论文专辑[C];2012年

4 焦超;周天彤;李祥学;李建华;;面向灾备的高性能可信存储系统设计[A];第十一届保密通信与信息安全现状研讨会论文集[C];2009年

5 汪位龙;;设计院存储系统建设初探[A];中国公路学会计算机应用分会2004年年会学术论文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存储系统分析[A];2009年中国高校通信类院系学术研讨会论文集[C];2009年

7 王克敏;张玺;胡江凯;王毅涛;;NWP资料归档方法及其存储系统的应用[A];中国气象学会2006年年会“中尺度天气动力学、数值模拟和预测”分会场论文集[C];2006年

8 孙哲;李昌银;;DeDu:基于云计算的冗余删除存储系统[A];电力行业新一代信息技术研讨会论文集[C];2011年

9 高小伍;党齐民;林晨;;校园网存储系统的研究与实现[A];中国高等教育学会教育信息化分会第十次学术年会论文集[C];2010年

10 宫海林;郭长国;苑洪亮;王怀民;;支持事务的非结构化数据聚合存储系统GSL[A];2006年全国开放式分布与并行计算机学术会议论文集（三）[C];2006年

中国重要报纸全文数据库 前10条

1 记者　 孙永杰;存储：中低端应用渐成热点[N];中国电子报;2005年

2 ;HP再度出击 EMC腹背受敌[N];计算机世界;2000年

3 ;湖北移动建设智能存储系统[N];人民邮电;2002年

4 本报记者 郭平;同有飞骥自主研发统一存储系统[N];计算机世界;2010年

5 ;浪潮存储为北航网络中心升级[N];人民邮电;2007年

6 ;解决方案面向谁？[N];中国高新技术产业导报;2001年

7 张峰 刘平;决战存储之巅[N];网络世界;2003年

8 ;赛 迪 观 市[N];中国计算机报;2003年

9 雪梅;统一存储发展新趋势[N];人民邮电;2012年

10 宋家雨;山东建筑大学图书馆存储系统建设[N];网络世界;2007年

中国博士学位论文全文数据库 前10条

1 陆承涛;存储系统性能管理问题的研究[D];华中科技大学;2010年

2 聂雪军;内容感知存储系统中信息信息生命周期管理关键技术研究[D];华中科技大学;2011年

3 罗东健;大规模存储系统高可靠性关键技术研究[D];华中科技大学;2011年

4 聂雪军;内容感知存储系统中信息生命周期管理关键技术研究[D];华中科技大学;2010年

5 王鹏;低密度奇偶校验码应用于存储系统的关键技术研究[D];华中科技大学;2013年

6 刁莹;用数学建模方法评价存储系统性能[D];哈尔滨工程大学;2013年

7 符青云;面向大规模流媒体服务的高性能存储系统研究[D];电子科技大学;2009年

8 王玉林;多节点容错存储系统的数据与缓存组织研究[D];电子科技大学;2010年

9 田敬;对等存储系统中的数据可用性与安全性研究[D];北京大学;2007年

10 李怀阳;进化存储系统数据组织模式研究[D];华中科技大学;2006年

中国硕士学位论文全文数据库 前10条

1 许伟民;非编网存储系统规划与分析[D];厦门大学;2008年

2 王宇德;进化存储系统的研究及其关键技术分析[D];华中科技大学;2004年

3 雷小强;基于闪存的混合式存储系统研究[D];华中科技大学;2011年

4 吴永发;面向终端应用的云存储系统研究与设计[D];广东工业大学;2013年

5 胡伟明;云存储系统的设计与实现[D];中国地质大学（北京）;2013年

6 吉永光;树型结构存储系统设计与层间缓存技术[D];华中科技大学;2007年

7 戴泽福;高性能层次并行流存储系统研究与实现[D];国防科学技术大学;2007年

8 王强;社交网站的群集存储系统的研究与设计[D];上海交通大学;2009年

9 马墨峰;基于存储局域网的存储系统的实现[D];西北工业大学;2001年

10 伍开文;低能耗存储系统的设计与实现[D];华中科技大学;2012年

  本文关键词：云存储系统中副本管理机制的研究，由笔耕文化传播整理发布。

本文编号：400944