云环境下基于存储的副本存放节能策略

发布时间：2017-10-24 01:18

  本文关键词：云环境下基于存储的副本存放节能策略

  更多相关文章： 分布式文件系统 节能计算 副本动态管理 文件访问热度 云计算

【摘要】：云计算以其诸多特性满足了人们对于高性能计算和存储空间日益增长的需要,然而其分布式的设计在一定程度上违背了绿色节能的原则,存在着数据冗余的问题,这不可避免地带来服务器在利用率方面偏低的问题,与此同时,也更进一步加剧了云计算高能耗的难题。文章分析和比较了在静态数据存放和动态数据存放的两种不同数据管理技术下的节能策略,结合对用户访问特征的深入研究,提出基于用户访问特征的云存储副本动态管理节能策略和数据块聚类存放节能策略。对于用户访问特征,主要通过建立用户访问特征和文件访问热度之间的关系来进行相关研究。研究基于用户访问特征的数据块副本动态管理节能策略时,还建立了数据块访问特征向量模型,用来描述用户对数据块随机访问的行为,当DataNode的整体访问热度达到设定阈值时,向NameNode发出休眠请求从而达到节能的目的。对于数据块聚类存放算法,则运用K-means算法分别在单个节点和集群两个不同范围内根据数据块的访问特性进行聚合计算,根据聚合结果在系统负载较低时进行数据块迁移,将具有相似访问特征的数据块存放一起,最后关闭不必要节点达到节能目的。在这个算法中,用户可以对聚类间隔参数进行灵活设置,不仅使得算法可运用到对性能有各种不同要求的场景中,同时可控制能耗降低的比例。经过实验验证:按照聚合结果进行数据块重配置后,服务器的用户响应时间不受影响。主动休眠算法和数据块聚类放置算法可有效较少能耗达31%-37%。
【关键词】：分布式文件系统 节能计算 副本动态管理 文件访问热度 云计算
【学位授予单位】：新疆大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333
【目录】：

• 摘要2-3
• Abstract3-8
• 第一章 绪论8-18
• 1.1 研究目的和意义8-10
• 1.2 分布式文件系统研究现状10-16
• 1.2.1 Global File System10-11
• 1.2.2 General Parallel File System11
• 1.2.3 Google File System11-13
• 1.2.4 Hadoop Distributed Filed System13-14
• 1.2.5 Lustre14-15
• 1.2.6 Green HDFS15-16
• 1.3 本文研究内容和组织结构16-17
• 1.3.1 研究内容16
• 1.3.2 组织结构16-17
• 1.4 本章小结17-18
• 第二章 分布式文件系统架构与副本管理18-25
• 2.1 分布式文件系统架构18-22
• 2.1.1 NameNode19
• 2.1.2 DataNode19-20
• 2.1.3 元数据20-22
• 2.2 副本管理22-23
• 2.2.1 副本复制22
• 2.2.2 副本存放22-23
• 2.2.3 副本选择23
• 2.2.4 安全模式23
• 2.3 本章小结23-25
• 第三章 能耗管理技术25-29
• 3.1 引言25-26
• 3.2 动态电压调整技术26
• 3.3 虚拟化技术26-27
• 3.4 数据块副本放置27-28
• 3.5 本章小结28-29
• 第四章 主动休眠节能算法29-39
• 4.1 引言29
• 4.2 用户访问特征的研究29-30
• 4.3 节能算法30-34
• 4.3.1 数学模型30-31
• 4.3.2 主动休眠算法31-34
• 4.4 算法实验与评测34-38
• 4.4.1 实验环境34-35
• 4.4.2 实验结果与分析35-38
• 4.5 本章小结38-39
• 第五章 数据块聚类存放节能算法39-49
• 5.1 聚类介绍39
• 5.2 节能算法39-44
• 5.2.1 数学模型39-41
• 5.2.2 数据块聚类算法41-43
• 5.2.3 数据块重配置算法43-44
• 5.3 算法仿真与评测44-49
• 5.3.1 算法模拟说明44-45
• 5.3.2 仿真实验环境45-46
• 5.3.3 仿真结果与分析46-48
• 5.3.4 本章小结48-49
• 第6章 结束语49-51
• 6.1 总结49
• 6.2 展望49-51
• 参考文献51-55
• 作者攻读硕士期间的研究成果55-56
• 致谢56-57

【参考文献】

中国期刊全文数据库 前1条

1 李晖;范志华;熊劲;马捷;;机群文件系统DCFS2的高可用性研究与实现[J];计算机工程;2006年07期

，

本文编号：1086338