面向数据中心的能耗同比性关键技术研究

发布时间：2017-08-08 22:06

  本文关键词：面向数据中心的能耗同比性关键技术研究

  更多相关文章： 数据中心 能耗同比性 磁盘存储系统 服务器集群

【摘要】：信息时代的发展使得越来越多的数据需要被存储以及处理,导致数据中心的数量以及规模越来越大。数据中心数量与规模的不断扩大使得其能耗开销也快速上升(当前数据中心能耗开销已占数据中心每月运行总开销四分之一以上)。但是,由于数据中心并不是持续处于高负载状态,因此研究者提出了“能耗同比性”设想,即数据中心的能耗与其所承担负载成正比例关系。如果系统负载低,我们可以关闭部分服务器来降低能耗；如果系统负载高,则可以开启大部分服务器保证性能。如果能够实现数据中心能耗同比性,则预期可以极大地节约数据中心能耗开销。因此,数据中心的能耗同比性技术具有十分重要的研究意义,也成为近年来的一个研究热点。 数据中心通常包含了由多个服务器构成的集群系统,并且使用了磁盘阵列等存储设备。因此,本文着重围绕数据中心的集群架构和磁盘阵列存储这两个方面展开能耗同比性研究。论文着重研究了数据中心能耗同比性控制中的两个关键问题：存储设备能耗同比性与服务器集群能耗同比性。在存储设备能耗同比性方面,我们研究了如何根据文件访问负载的变化动态切换磁盘电源状态以实现节能的问题。由于数据中心文件访问请求具有倾斜性,即绝大部分文件访问请求针对少部分文件,因此我们对冷热文件分别进行存储,从而使得存放冷文件的存储设备可以在恰当时机切换到休眠状态。在服务器集群能耗同比性方面,我们研究基于服务器集群负载变化的节点电源控制和任务调度技术。Google等企业的实践表明,数据中心负载在大多数情况下是较低的,只有在高峰期才需要用到全部服务器资源。因此我们设计了一种服务器集群负载及电源调度策略,使得在保证性能前提下能够根据负载情况动态调整服务器节点电源状态是必要的。 本文的主要贡献可总结为下面两点： (1)提出了一种基于冷热分组和动态文件重组策略的磁盘存储系统节能控制方法。该方法根据文件访问历史将全部磁盘划分成一个冷磁盘组与一个热磁盘组。通过在冷热磁盘组之间进行文件迁移交换操作,将热文件集中存放在热磁盘组上,从而可以将冷磁盘组电源关闭以降低存储系统能耗。为了降低冷热磁盘组之间的迁移操作,我们设计了一种可以可以根据文件访问模式的变化动态进行磁盘文件重组的方法。我们引入了热文件访问率和热磁盘访问率来度量文件访问模式的变化度,并基于变化度来决定是否执行文件重组操作。我们在9个仿真trace和2个真实trace上开展了实验。结果表明,我们的方法在取得与现有方法相当的时间性能的基础上,可以有效地节约能耗。 (2)提出了一种基于负载预测的服务器集群能耗同比性控制方法。我们在一个时间窗口内采样服务器集群负载信息,然后通过时间线性序列拟合算法找出负载变化的关键点,并使用最小二乘法对关键点进行线性拟合,然后根据拟合结果以及当前负载信息来预测下一个时间窗口的服务器集群负载情况,进而改变服务器的电源调度策略,实现服务器集群的能耗同比性。我们构建了一个模拟服务器集群负载变化和能耗同比控制的原型系统进行性能测试。在10个节点组成的仿真环境测试结果表明,我们的方法相对于无节能措施下的服务器集群在能耗和性能方面均取得了明显的改进。
【关键词】：数据中心 能耗同比性 磁盘存储系统 服务器集群
【学位授予单位】：中国科学技术大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP308
【目录】：

• 摘要5-7
• Abstract7-12
• 图表目录12-14
• 第一章 绪论14-22
• 1.1 研究背景与意义14-16
• 1.2 国内外研究现状16-19
• 1.2.1 能耗同比性17
• 1.2.2 相关工作概述17-19
• 1.3 本文研究内容与主要贡献19
• 1.4 本文的组织结构19-22
• 第二章 国内外相关工作22-34
• 2.1 能耗同比性概述22-23
• 2.2 存储设备能耗同比性23-28
• 2.2.1 冷热数据判定的方法24-25
• 2.2.2 数据在存储设备上的分配25-26
• 2.2.3 存储设备电源调度策略26-28
• 2.3 服务器集群的能耗同比性28-31
• 2.3.1 服务器集群负载量化方法28-29
• 2.3.2 服务器集群负载预测方法29-30
• 2.3.3 服务器集群电源调度策略30-31
• 2.4 本章小结31-34
• 第三章 存储设备的能耗同比性34-58
• 3.1 引言34-35
• 3.2 基于热度感知和分组策略的存储系统模型35-43
• 3.2.1 系统模型35-37
• 3.2.2 热文件判定37-38
• 3.2.3 热磁盘选择38-43
• 3.3 按需文件重组算法43-44
• 3.4 实验验证44-56
• 3.4.0 实验设置44-46
• 3.4.1 负载46-47
• 3.4.2 热磁盘选择的自适应性47-48
• 3.4.3 文件重组的有效性48-49
• 3.4.4 节能效果49-51
• 3.4.5 时间性能51-53
• 3.4.6 参数tp与δ的影响53-56
• 3.4.7 不同I/O请求类型的影响56
• 3.5 本章小结56-58
• 第四章 服务器集群的能耗同比性58-66
• 4.1 引言58
• 4.2 服务器集群系统负载的量化58-59
• 4.3 服务器集群负载信息采集及关键点选取59-61
• 4.3.1 服务器集群系统负载信息的采集59-60
• 4.3.2 服务器集群系统负载关键点的提取60-61
• 4.4 对服务器集群系统负载的预测及调度方法61-62
• 4.5 实验与结果分析62-65
• 4.5.1 实验设置及数据集62-63
• 4.5.2 负载预测准确性63-64
• 4.5.3 节能效果与性能对比64-65
• 4.6 本章小结65-66
• 第五章 总结与展望66-68
• 5.1 本文工作总结66
• 5.2 下一步工作展望66-68
• 参考文献68-74
• 致谢74-76
• 在读期间发表的学术论文与取得的研究成果76

【参考文献】

中国期刊全文数据库 前4条

1 过敏意;;绿色计算:内涵及趋势[J];计算机工程;2010年10期

2 谢福鼎;王赫楠;张永;;一种新的时间序列线性拟合方法[J];计算机工程;2011年22期

3 林成江，李三立;一种可适应的分布式动态负载平衡策略及其仿真[J];计算机学报;1995年10期

4 杜奕;卢德唐;李道伦;赵亦朋;;一种快速的时间序列线性拟合算法[J];中国科学技术大学学报;2007年03期

，

本文编号：642218