基于群智能算法的云数据迁移策略研究

发布时间：2017-04-07 17:16

  本文关键词：基于群智能算法的云数据迁移策略研究，由笔耕文化传播整理发布。

【摘要】：云计算这个研究方向越来越受到广泛的关注。随着集群规模和数据量的爆发式增长,各行各业都先后出现了规模庞大的云数据中心。在云数据中心中,数据传输的需求涌现出爆炸性的增长趋势,对带宽的要求也愈来愈高。猛增的信息量使得网络带宽成为了严重的瓶颈问题。而数据迁移是保证云数据中心高效运行、平滑升级以及更新系统的关键部分,在云计算领域中也占据着举足轻重的地位。数据迁移的效率以及可靠性能够直接影响云数据中心的性能。而数据迁移策略是数据实现迁移的重要前提,更为今后系统稳定高效运行的有力保障。良好的迁移策略,不仅能够节省迁移成本还能够更好地维护和管理云数据中心。当某个服务器负载过大时,可根据动态迁移策略将数据流量分担到合适的节点设备上分别处理以实现负载均衡。当某些数据基于某种原因访问量过大时,网络带宽拥挤会导致云数据中心无法提供高效的服务。此时为解决该问题设计出一个高效的动态数据迁移策略就显得尤为重要。部分研究者通过动态数据迁移策略寻找合适的目的位置满足迁移需求,实现负载均衡或者优化云数据中心的运行成本。而在迁移过程中,对于目的迁移位置的选择一般都是随机的,只要该服务器容纳得下待迁移的数据,就可以实现迁移,该策略虽然迁移速度快,但是效率不高,并且从长远角度来看,造成的迁移花销也可能很大。为保证迁移的高效性,还有一部分研究人员通过最优选择策略选择了更加高效的目的位置实现数据迁移,但只是以性能这一个方面作为目标,对于云数据中心来说,虽然能暂时实现负载均衡,可是没有考虑迁移成本和带宽压力,所以依然没能从根本上解决带宽瓶颈问题。本文所要研究的重点是在最大化性能和节约迁移成本的基础上以节省带宽为目标,通过动态数据迁移策略寻找一个目的服务器实现数据的迁移。为此,提出了一个新颖的启发式算法IB-FA,它基于萤火虫算法实现了数据动态迁移策略。将实现负载均衡的动态数据迁移策略问题转化成一个受性能、迁移成本和带宽约束的多目标优化问题。为解决该多目标优化问题,提出了一个适应动态变化的云环境的IB-FA架构。在与随机数据迁移策略和最优数据迁移策略的实验对比结果中表明:本文提出的IB-FA算法能够找到一个更加适合数据的迁移位置。在分散I/O操作的同时明显优化了数据访问速度,并且有效提高带宽利用率,从而解决云数据中心的带宽瓶颈问题。
【关键词】：云计算 数据迁移 群智能算法 资源利用率 网络带宽
【学位授予单位】：长春工业大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP308;TP18
【目录】：

• 摘要3-4
• Abstract4-9
• 第一章 绪论9-15
• 1.1 课题的研究背景及意义9
• 1.2 国内外研究现状9-13
• 1.2.1 云计算的国内外发展现状9-11
• 1.2.2 云资源调度现状11-13
• 1.3 全文研究内容及章节安排13-15
• 第二章 云计算的相关知识概述15-25
• 2.1 云计算的概念15
• 2.2 云计算的特点15-16
• 2.3 云计算的体系框架16-17
• 2.4 云计算的分类17-18
• 2.5 云计算关键性技术18-24
• 2.5.1 虚拟化技术18-19
• 2.5.2 编程模式19-20
• 2.5.3 Hadoop分布式文件系统20-24
• 2.6 本章小结24-25
• 第三章 云数据中心及资源调度策略概述25-32
• 3.1 云数据中心体系结构25
• 3.2 云数据中心的特点25-26
• 3.3 云资源管理26-27
• 3.4 云数据中心任务部署模型27-28
• 3.5 数据迁移放置策略28-30
• 3.5.1 随机迁移位置选择策略28-29
• 3.5.2 最优迁移位置选择策略29-30
• 3.6 数据迁移位置选择策略的构模型架30-31
• 3.7 本章小结31-32
• 第四章 IB-FA算法及数据迁移策略的研究32-40
• 4.1 萤火虫算法32-34
• 4.1.1 萤火虫算法的思想概要32
• 4.1.2 萤火虫算法的数学描述与算法流程32-33
• 4.1.3 萤火虫算法的优缺点33-34
• 4.2 IB-FA算法34-39
• 4.2.1 IB-FA算法的前提描述34
• 4.2.2 IB-FA算法的思想34
• 4.2.3 IB-FA的数学描述与分析34-35
• 4.2.4 IB-FA算法的形式化35-36
• 4.2.5 IB-FA算法解的表示36
• 4.2.6 IB-FA算法的实现过程36-37
• 4.2.7 IB-FA算法伪代码37-39
• 4.3 本章小结39-40
• 第五章 实验结果与分析40-47
• 5.1 HDFS存储解析40-41
• 5.2 实验环境41-43
• 5.2.1 实验环境介绍41-42
• 5.2.2 实验数据42
• 5.2.3 搭建Hadoop集群42-43
• 5.3 实验结果与分析43-46
• 5.3.1 带宽占用率的比较43
• 5.3.2 负载均衡的比较43-44
• 5.3.3 迁移成本的比较44-45
• 5.3.4 资源利用率方面的比较45-46
• 5.4 本章小结46-47
• 第六章 总结与展望47-48
• 6.1 本文总结47
• 6.2 展望47-48
• 致谢48-49
• 参考文献49-53
• 作者简介53
• 攻读硕士学位期间研究成果53

【相似文献】

中国期刊全文数据库 前10条

1 吉向东;;从Embedded Visual C++ 4.0到Visual Studio 2005的迁移策略[J];自动化技术与应用;2009年07期

2 张正球;蔡声镇;余敏;;一种改进的基于迁移计划图的移动Agent迁移策略[J];计算机应用研究;2007年01期

3 方军;叶震;;基于旅行计划图的移动Agent迁移策略研究[J];计算机应用与软件;2009年06期

4 甘早斌;孔祥印;肖国强;;面向智能电子商务的移动Agent迁移策略研究[J];计算机科学;2011年08期

5 戴兴华 ,姜浩;移动Agent系统中的迁移策略及其关键技术[J];微型机与应用;2002年12期

6 戴兴华,姜浩;移动Agent系统中的迁移策略及其关键技术[J];工业控制计算机;2002年10期

7 毕晓君;王珏;;基于混合迁移策略的生物地理学优化算法[J];模式识别与人工智能;2012年05期

8 江菲;汤小春;张晓;赵晓南;;基于价值评估的数据迁移策略研究[J];电子设计工程;2011年07期

9 马骏;张健沛;程丽丽;;基于支持向量机的移动Agent迁移策略[J];计算机工程;2006年17期

10 李新涛;陈禹安;;传统媒体转型中的“粉丝迁移策略”[J];出版参考;2014年21期

中国重要会议论文全文数据库 前2条

1 陈少田;叶震;叶大庸;赵宝;;移动Agent迁移策略知识库的建立[A];AECC专题学术研讨会论文集[C];2007年

2 赵宝;叶震;叶大庸;;移动Agent迁移策略知识库的研究[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用（CACIS）学术会议论文集[C];2007年

中国重要报纸全文数据库 前2条

1 《中国社会工作·老龄》主编 李新涛　杭州出版集团副总经理 陈禹安;传统媒体转型中的“粉丝迁移策略”[N];中国新闻出版报;2014年

2 上海建行信息技术部 戴工玖;ILM技术在银行中的应用[N];计算机世界;2007年

中国博士学位论文全文数据库 前1条

1 马骏;移动agent迁移技术研究[D];哈尔滨工程大学;2009年

中国硕士学位论文全文数据库 前8条

1 孙阳;基于群智能算法的云数据迁移策略研究[D];长春工业大学;2016年

2 宁维宇;面向服务的未来互联网服务迁移策略的研究[D];北京邮电大学;2014年

3 薛丹;移动Agent系统迁移机制及迁移策略的分析研究[D];兰州大学;2006年

4 刘玉海;移动Agent智能迁移模型[D];中国海洋大学;2003年

5 王伟;基于支持向量机的Agent迁移策略[D];中国海洋大学;2004年

6 江裕城;虚拟环境中迁移策略研究[D];杭州电子科技大学;2009年

7 秦占明;云端虚拟集群部署与动态迁移技术的研究[D];北京交通大学;2015年

8 钟海;面向云计算环境的应用迁移策略及资源管理技术研究[D];云南大学;2011年

  本文关键词：基于群智能算法的云数据迁移策略研究，，由笔耕文化传播整理发布。

本文编号：290940