初始信息素筛选的蚁群算法在HDFS副本选择中的研究

发布时间：2017-10-30 07:13

  本文关键词：初始信息素筛选的蚁群算法在HDFS副本选择中的研究

  更多相关文章： HDFS 副本选择 初始信息素筛选 蚁群算法 遗传算法

【摘要】：随着信息化的深入应用和发展,海量数据的高效率存储需求变得越来越迫切。如何高效、安全地存储、管理这些指数级增长的数据已成为海量数据的研究热点。分布式技术的迅速发展,使得分布式成为了一种解决海量数据存储与管理的有效方式。云存储系统中的数据采用分布存储的方式,并且将数据块的若干个副本保存到不同的数据节点之上,不仅保证了数据的安全性,而且提高了同一个数据块的并发读效率。副本技术是云存储系统保证性能和可靠性的关键。而副本选择是云存储系统进行数据访问和管理的基础,副本选择策略的优劣将会直接影响到系统的性能、负载平衡性以及可靠性。因此,如何从若干个副本中选择出最佳的副本以最大程度地提升数据的存取速率是副本管理的一个重要问题。针对以上问题,本文提出了一种基于初始信息素筛选的蚁群算法的副本选择策略,主要研究内容如下：(1)针对现有副本选择策略存在的响应时间长、副本负载均衡性差等问题开展工作,基于各副本选择策略原理的研究,提出影响副本选择的主要因素(磁盘的I/O传输速率、网络带宽、副本节点的负载、请求结点和副本结点间的物理距离),并对HDFS环境下进行副本选择的必要性进行了分析。(2)对蚁群算法的副本选择策略和遗传算法的副本选择策略进行比较分析,提出了初始信息素筛选的蚁群算法的HDFS副本选择模型。利用遗传算法经过编码、初始化初始群体、确定适应度函数、选择、交叉、变异等循环操作来获得若干组优化解,同时选择操作采用一种改进的轮盘赌选择法以获得较佳种群。利用一种动态衔接方法使得遗传算法和蚁群算法能够在最佳的时机进行衔接。将通过遗传算法获取的优化解用于信息素的初始化,采用蚁群算法获得最佳副本。将选择概率与副本节点的负载完成率相匹配,保证了副本节点的负载均衡。(3)对云计算仿真器CloudSim的部分类进行修改和扩展,并将初始信息素筛选的蚁群算法、遗传算法和蚁群算法加入其中。利用扩展后的仿真平台,将三种算法在作业执行时间、副本读取响应时间和副本负载均衡性等方面进行性能比较,结果表明初始信息素筛选的蚁群算法可以较为迅速地获得最佳副本,提高了系统的负载均衡性,增强了系统的整体性能。
【关键词】：HDFS 副本选择 初始信息素筛选 蚁群算法 遗传算法
【学位授予单位】：昆明理工大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP18;TP333
【目录】：

• 摘要5-6
• Abstract6-11
• 第一章 绪论11-19
• 1.1 课题研究的背景及意义11-14
• 1.2 副本选择的国内外研究现状14-17
• 1.3 主要研究内容17-19
• 第二章 副本选择机制研究19-31
• 2.1 云存储分布式文件系统研究19-23
• 2.1.1 分布式文件系统的发展历程19-20
• 2.1.2 分布式文件系统的基本结构及特点20-22
• 2.1.3 常见的分布式文件系统22-23
• 2.2 分布式文件系统HDFS23-27
• 2.2.1 HDFS架构23-25
• 2.2.2 HDFS的设计理念25
• 2.2.3 HDFS存储机制25-27
• 2.3 HDFS副本选择的必要性分析27-28
• 2.4 HDFS默认的副本选择策略28-29
• 2.5 本章小结29-31
• 第三章 初始信息素筛选的蚁群算法的副本选择研究31-49
• 3.1 蚁群算法概述31-35
• 3.1.1 蚁群算法基本思想31-32
• 3.1.2 蚁群算法数学模型32-34
• 3.1.3 蚁群算法流程34-35
• 3.2 遗传算法概述35-37
• 3.2.1 遗传算法生物学基础35
• 3.2.2 遗传算法运算过程35-36
• 3.2.3 遗传算法的特点及应用领域36-37
• 3.3 初始信息素筛选的蚁群算法的基本原理37-39
• 3.3.1 蚁群算法和遗传算法比较分析37-38
• 3.3.2 遗传算法和蚁群算法的动态衔接方法38-39
• 3.4 副本选择模型的参考因素39-40
• 3.5 算法设计40-46
• 3.5.1 编码40-41
• 3.5.2 初始群体选取和参数初始化41
• 3.5.3 确定适应度函数41-42
• 3.5.4 遗传操作42-45
• 3.5.5 循环操作45
• 3.5.6 信息素初始化45
• 3.5.7 信息素更新模型45-46
• 3.6 算法描述46-48
• 3.7 本章小结48-49
• 第四章 副本选择策略仿真与评估49-61
• 4.1 基于CloudSim的副本选择仿真系统49-51
• 4.1.1 仿真平台CloudSim简介49-50
• 4.1.2 CloudSim的体系结构50-51
• 4.2 仿真实验51-59
• 4.2.1 CloudSim环境配置51
• 4.2.2 CloudSim的仿真流程51-54
• 4.2.3 实验结果与分析54-59
• 4.3 本章小结59-61
• 第五章 总结与展望61-63
• 5.1 总结61-62
• 5.2 展望62-63
• 致谢63-65
• 参考文献65-71
• 附录A：攻读硕士学位期间的研究成果71

【相似文献】

中国期刊全文数据库 前10条

1 姜健;赵杰;闫继宏;臧希U，

本文编号：1116638