云环境下的高效多副本管理研究

发布时间：2017-05-26 03:14

  本文关键词：云环境下的高效多副本管理研究，，由笔耕文化传播整理发布。

【摘要】：随着Internet技术的快速发展,特别是Web2.0应用的普及,数据量开始爆炸性的增长,云存储虽然能有效解决传统文件系统处理大数据时在容量和性能上遇到的瓶颈,但也容易出现数据不可用等问题,而且云存储不能根据数据访问负载变化实现有效的可伸缩,从而产生了高昂的能源成本。所以让云存储提供高效率、高度可靠的数据存储服务并有效降低系统整体能耗,已经成为当务之急。目前,已有研究利用多副本管理策略实现系统的负载均衡,但是缺少同时考虑能源高效方面的策略。另外现有的能源高效技术存在一个普遍的不足:虽然实现了成比例能耗,但是都不能很好的支持系统负载均衡,而且能利用数据的多副本这一特性来实现能源高效的研究也相对较少。本论文针对云存储中多副本技术研究出现的上述问题,对兼顾负载均衡和能源高效的多副本管理策略展开研究,通过多副本管理实现数据访问高效和能源高效,主要工作内容如下:(1)在负载均衡方面:首先利用负载均衡的实现原理和对文件潮汐特性的分析,提出了基于时间序列的文件访问热度计算模型,并以这个计算模型为基础给出了以文件访问热度排名为中心的副本因子分配算法,实现了文件副本数量的动态调整。然后提出了基于放置代价的副本放置机制,根据放置代价的大小选择最佳的副本放置节点。最后提出了基于带权重的欧几里得距离副本选择策略,充分利用多属性决策问题上的优势,把这个距离值作为副本选择的评价标准,为用户从多个副本中选择最优副本。通过仿真实验表明自适应负载均衡副本管理策略的负载方差比静态副本策略小34%,作业的平均执行时间降低27%,使系统性能得到了提高,能为用户提供高效的数据存储服务。(2)在能源高效方面:首先通过对文件生命周期特性的分析,揭示了能源利用率低下的原因。然后提出了能源高效动态副本放置机制,利用数据多副本的特性结合特定的副本放置布局为实现系统的可伸缩做好准备,最后给出了能量感知的集群伸缩设计,根据系统的负载状态休眠和唤醒数据节点,有效的提高能源利用率。通过仿真实验表明能源高效动态副本放置策略在实现能源高效方面比静态副本策略降低了16%的能耗。
【关键词】：云存储 副本放置 副本选择 负载均衡 能源高效
【学位授予单位】：电子科技大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333
【目录】：

• 摘要5-6
• ABSTRACT6-10
• 第一章 绪论10-16
• 1.1 研究背景及意义10-11
• 1.2 国内外研究现状11-14
• 1.3 主要研究内容14-15
• 1.4 论文结构安排15-16
• 第二章 云存储研究16-23
• 2.1 云存储16-19
• 2.1.1 云存储参考模型18
• 2.1.2 云存储的优势与挑战18-19
• 2.2 Hadoop分布式文件系统(HDFS)19-22
• 2.2.1 HDFS概要19-20
• 2.2.2 HDFS数据放置20-22
• 2.3 本章小结22-23
• 第三章 自适应负载均衡的副本管理策略23-47
• 3.1 负载均衡的实现原理23-25
• 3.2 以文件访问热度排名为中心的副本因子决策算法25-33
• 3.2.1 文件的潮汐特性分析25-26
• 3.2.2 基于时间序列的文件访问热度计算模型26-29
• 3.2.3 文件访问热度排名29-30
• 3.2.4 副本因子分配函数30-33
• 3.3 基于放置代价的副本放置机制33-35
• 3.3.1 放置代价的计算33-34
• 3.3.2 放置流程34-35
• 3.4 基于带权重的欧几里得距离副本选择策略35-40
• 3.4.1 副本选择策略的参考因素35-37
• 3.4.2 带权重的欧几里得距离的定义37-40
• 3.5 仿真实验及数据分析40-45
• 3.5.1 实验环境设置41-43
• 3.5.2 模拟结果分析43-45
• 3.6 本章小结45-47
• 第四章 能源高效副本放置策略47-70
• 4.1 云存储系统能源高效技术47-50
• 4.1.1 基于节点调度的能源高效技术47-48
• 4.1.2 基于静态数据放置的能源高效技术48
• 4.1.3 基于动态数据放置的能源高效技术48-49
• 4.1.4 云存储系统能源高效技术研究现状49-50
• 4.2 能源效率评价模型50-51
• 4.3 文件的生命周期特性分析51-54
• 4.4 能源高效动态副本放置机制54-60
• 4.4.1 数据节点子集合的划分54
• 4.4.2 副本放置规则54-55
• 4.4.3 数据节点子集合的副本因子55-57
• 4.4.4 副本迁移过程57-60
• 4.5 能量感知的集群伸缩设计60-64
• 4.5.1 集群缩小策略61-63
• 4.5.2 集群扩大策略63-64
• 4.5.3 避免抖动效应64
• 4.6 仿真实验及数据分析64-68
• 4.6.1 实验环境设置65-67
• 4.6.2 模拟结果分析67-68
• 4.7 本章小结68-70
• 第五章 总结与展望70-72
• 5.1 全文工作总结70-71
• 5.2 未来工作展望71-72
• 致谢72-73
• 参考文献73-79
• 攻读硕士学位期间取得的成果79-80

【相似文献】

中国期刊全文数据库 前10条

1 孙雨施;关于永磁的计算模型[J];电子学报;1982年05期

2 蒋白桦;;矿储量动态计算模型[J];深圳大学学报;1988年Z2期

3 董健全,万高峰,肖苑;互联网计算模型的新发展——对等互联网[J];计算机应用与软件;2002年12期

4 刘文洁;李战怀;任X;;基于分布式的自律计算模型研究与设计[J];西北工业大学学报;2011年02期

5 云健;江荻;;人类元音系统演化规律的计算模型研究新进展[J];计算机工程与设计;2010年13期

6 应宏;网络应用计算模型的演变与发展[J];计算机系统应用;2003年03期

7 左轻侯;;第三次浪潮:面向应用的计算模型的变革[J];程序员;2005年10期

8 孙蛟;虞健飞;辛文逵;;基于仿真的军用飞机保障设备利用率计算模型[J];系统仿真学报;2009年11期

9 窦家维;李顺东;;一种新的语言信息计算模型[J];小型微型计算机系统;2005年10期

10 马玉华;夏跃伟;;仿真非确定性计算模型[J];牡丹江教育学院学报;2007年04期

中国重要会议论文全文数据库 前10条

1 沈西林;杨保建;尹平;;公司代理人收入计算模型的研究[A];中国系统工程学会决策科学专业委员会第六届学术年会论文集[C];2005年

2 姚卿达;李子坚;;基于网络中心计算模型的应用系统开发方法[A];第十五届全国数据库学术会议论文集[C];1998年

3 周倩;沈夏炯;;类比推理的计算模型研究综述[A];计算机研究新进展（2010）——河南省计算机学会2010年学术年会论文集[C];2010年

4 陈欣庆;王凌波;;定点抢修配置的效能指标及计算模型[A];中国运筹学会第八届学术交流会论文集[C];2006年

5 段吉员;王彦平;刘仓理;于川;;平衡炮试验弹丸膛内过载计算模型及应用[A];中国工程物理研究院科技年报(2008年版)[C];2009年

6 钟禄平;肖剑;宗弘元;钟思青;顾军民;;分隔塔计算模型的建立与优化[A];中国化工学会2008年石油化工学术年会暨北京化工研究院建院50周年学术报告会论文集[C];2008年

7 徐云峰;;一种新的取证计算模型的研究与实现[A];第二十一次全国计算机安全学术交流会论文集[C];2006年

8 李亚敏;;试论NPA和SVO计算模型的关联[A];全国第十四届计算机科学及其在仪器仪表中的应用学术交流会论文集[C];2001年

9 张川;朱小牛;;宝钢连铸切断长计算模型的改造[A];工业自动化应用实践——全国（第五届）炼钢、连铸和轧钢自动化学术会议论文集[C];2002年

10 魏钦平;杨春燕;程述汉;;果树栽植行向、树形与光能截获的优化计算模型[A];中国园艺学会首届青年学术讨论会论文集[C];1994年

中国重要报纸全文数据库 前2条

1 本报驻美国记者 毛黎;另辟蹊径“读”细胞[N];科技日报;2008年

2 郑伟;炼油加工损失实现在线计算[N];中国化工报;2011年

中国博士学位论文全文数据库 前4条

1 强小利;图顶点着色DNA计算模型及实验研究[D];华中科技大学;2008年

2 杨芸;汉语隐喻识别与解释计算模型研究[D];厦门大学;2008年

3 郭海儒;注意的生成机制与视觉注意计算模型研究[D];北京邮电大学;2012年

4 张巧荣;视觉注意计算模型及其关键技术研究[D];哈尔滨工程大学;2011年

中国硕士学位论文全文数据库 前10条

1 高宇飞;MapReduce计算模型下数据倾斜处理方法的研究[D];郑州大学;2015年

2 施振磊;云环境下的高效多副本管理研究[D];电子科技大学;2015年

3 余昊;儿童句法习得计算模型的研究及应用[D];北京邮电大学;2011年

4 艾淼;膜计算模型中若干运算的研究及仿真实现[D];哈尔滨工业大学;2010年

5 刘政伟;飞行器概念设计阶段计算模型的自动化求解顺序规划[D];南京航空航天大学;2009年

6 张倩;基于生物技术的分子计算模型应用研究[D];陕西师范大学;2011年

7 何伟岗;基于HBase的多决策反馈式计算模型的研究与实现[D];西安电子科技大学;2012年

8 谢书玲;结合GIS的新经济产业地理计算模型研究及应用[D];华东师范大学;2006年

9 崔宁宁;面向电信运营的云计算模型研究[D];西北大学;2012年

10 欧柱;细胞型膜计算模型遗传优化设计研究[D];西南交通大学;2013年

  本文关键词：云环境下的高效多副本管理研究，由笔耕文化传播整理发布。

本文编号：395647