分布式存储系统中的能耗管理策略研究

发布时间：2019-07-22 12:24

【摘要】：分布式存储系统能够适应当前爆炸性增长的海量数据存储需要，它具有高存储带宽和可扩展性好等诸多特点，是当今海量存储系统的主流技术方向；但分布式存储系统的电力能量消耗已经成为其运行过程中的最大开支，另外大量的电力能量消耗间接地加大了CO2排放，也加剧了全球温室效应。因此分布式存储系统中的节能管理问题是目前计算机存储技术领域中的热点研究问题，也是一个理论性和实际性非常强的重要研究课题；它对于减少分布式存储系统中的能量消耗、降低存储成本和符合国家的节能减排政策具有非常重要的实际意义。 分布式存储系统在运行过程中的节能问题可以通过能耗管理策略来进行实现，然而现有的能耗管理策略中，存在着经典随机能耗管理策略不适用于分布式存储系统的动态环境、能耗管理策略容易影响存储系统的I/O性能以及存储系统的冷却能耗策略没有进行优化等不足等问题。因此，本文重点针对分布式存储系统能耗管理策略中的动态负载自适应性能耗管理策略、内存能耗管理策略和存储系统冷却子系统节能优化策略三个主要科学问题进行了系统而深入的研究，本文作者所做的主要工作和取得的创新性研究成果如下： 1）提出了一种基于迭代估计的动态自适应能耗管理策略。针对经典的随机策略对动态负载适应性差的不足，通过使用一种随机迭代参数估计方法对负载参数进行估计，获得负载状态参数后结合组件状态建立全局静态马尔科夫控制链，然后建立基于性能、能耗的限制性满足方程，使用线性规划原理解出最优化能耗策略。使用的迭代参数估计方法能快速、准确、以较小的计算量得到动态负载的状态参数值，迭代参数估计方法为静态马尔科夫模型应用于动态环境垫定了基础，能把模型计算的准确性应用于动态负载中，克服了经典滑动窗口随机能耗策略对动态环境适应性差的不足。 2）提出了一种基于副本机制的高性能内存能耗管理策略。针对能耗管理策略时通常造成性能延迟，内存能耗管理对I/O性能影响最显著与直接，，在已有的内存能耗策略基础上进行扩展，即通过使用可编程NIC，在其内存中建立副本空间，把I/O过程中的高频“只读”热点数据的副本存储在副本空间，并在内存中建立副本元数据表用于指引主机对副本空间进行操作；同时也设计了一种基于时空局部性原理的副本候选算法（DCA），以确保NIC副本数据的时效性，高性能能耗管理算法中增加令元数据表始终保持活跃状态指令，其它内容不需要进行更改。在I/O过程中，高频只读数据不再通过总线反复传输，减少了总线的流量，进而提高系统的吞吐率。理论分析与实验结果表明，新策略的NIC副本过滤了I/O过程中的高频只读数据，增加了内存空闲时间，减少了总线带宽以及数据I/O时间，能够在有效降低能耗的条件下克服原策略对存储I/O的不利影响。 3）提出了一种基于温度均衡的冷却子系统能耗管理策略。针对分布式存储冷却子系统已经存在的冷却策略中被动适应存在的温度场的方案节能效果有限、主动温度均衡方案中反馈机制造成内核冷却冗余、基于预测的热点消除影响性能的不足，在深入分析了散热机理后，设计了基于温度均衡的多级任务调度冷却优化策略，在热源间通过反馈机制指派给各个CPU相应的负载以平衡CPU之间热负载，当热负荷相当的CPU间存在过热内核时通过CPU间的线程迁移调度消除热点。在CPU内部使用平滑回归模型预测内核间的温度，预测温差达到设置的触发值后对热核与冷核之间进行线程交换调度进一步均衡温度分布。均衡的温度分布能获得最小的冷却风扇平均转速，从而最小化能量消耗，线程调度相对于操作系统任务级调度时间开销可以忽略。理论分析与实验表明，新策略克服了传统冷却节能策略的冷却效率不高的不足，在不影响性能的前提下更好地节省了冷却能量。 4）提出了一种基于中间件的自适应能耗管理应用框架，所有能耗控制策略均可集成在此框架内，平台位于操作系统与用户应用层之间。本文提出的能耗管理应用框架由组件级能耗策略部分与设备级能耗部分组成，通过限制满足原理为不同任务在要求的性能条件下提供最少的服务节点，关闭不活跃状态节点节省能量；对于活跃节点所属的设备，组件级模块调用适当的组件能耗策略进一步降低运行中的设备能量；通过此能耗集成应用框架能够满足用户服务要求，并最大限度的利用能耗管理策略降低系统能量。
【学位授予单位】：华南理工大学
【学位级别】：博士
【学位授予年份】：2013
【分类号】：TP333

【相似文献】

相关期刊论文 前10条

1 陈],殷新春;并行程序设计中的消息传递机制[J];扬州大学学报(自然科学版);2001年04期

2 杨_g剑;林波;;分布式存储系统中一致性哈希算法的研究[J];电脑知识与技术;2011年22期

3 田荣华;卢显良;侯孟书;王晓斌;;P2P分布式存储系统[J];计算机科学;2007年06期

4 王文丰;;一种基于遗传算法的副本优化问题求解方法[J];科技经济市场;2011年05期

5 刘翔;汪海玲;;分布式存储中的一种数据放置策略[J];计算机与数字工程;2009年05期

6 朱庆;周艳;;分布式空间数据存储对象[J];武汉大学学报(信息科学版);2006年05期

7 黎平国;陈路平;陈红琴;蒋若珊;;基于P2P的数字图书馆资源分布式存储方案[J];科技广场;2009年05期

8 朱恒业;付丹丹;;基于分布式存储的数字图书馆系统[J];电脑学习;2011年01期

9 苏勇;周敬利;姜明华;刘钢;;分布式存储系统中元数据系统的研究与设计[J];计算机工程与应用;2006年20期

10 龚星耀;张强;姜志宽;;基于对等网络的分布式存储系统的设计与实现[J];现代电子技术;2008年16期

相关会议论文 前10条

1 赵辉;何连跃;;基于异构分布式存储系统的动态反馈负载均衡技术[A];第15届全国信息存储技术学术会议论文集[C];2008年

2 周天彤;薛磊;郑东;童天浩;;基于Reed-Solomon编码的容灾存储系统性能分析[A];第十一届保密通信与信息安全现状研讨会论文集[C];2009年

3 周松;王意洁;;EXPyramid:一种灵活的基于阵列结构的高容错低修复成本编码方案[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

4 黄韧;罗记龙;;绿色通信能耗专家系统[A];通信电源新技术论坛2011通信电源学术研讨会论文集[C];2011年

5 ;纸品生产过程能耗监测系统[A];电子信息节能技术与产品推广应用专集[C];2009年

6 朱超群;;采用模拟量监控系统建设绿色平安基站的探讨[A];通信电源新技术论坛——2008通信电源学术研讨会论文集[C];2008年

7 姜宁;;通信局站能源管理系统的实践[A];通信电源新技术论坛2011通信电源学术研讨会论文集[C];2011年

8 刘群;冯丹;;基于层次结构的元数据动态管理方法的研究[A];第15届全国信息存储技术学术会议论文集[C];2008年

9 邹云鹏;康雁;;基于CPU的光线投射算法的并行计算方法[A];中国生物医学工程学会成立30周年纪念大会暨2010中国生物医学工程学会学术大会青年优秀论文[C];2010年

10 陈天洲;吴心亮;黄江伟;胡威;;操作系统协同的嵌入式节能框架研究[A];第二届和谐人机环境联合学术会议(HHME2006)——第2届中国普适计算学术会议(PCC'06)论文集[C];2006年

相关重要报纸文章 前10条

1 记者 张陆龙;我市推行更严格能耗管理制度[N];绍兴日报;2010年

2 郗海才;齐鲁炼厂能耗管理效果显著[N];中国石化报;2004年

3 崔文昭;可扩展存储 简化网络 优化能耗管理[N];人民邮电;2011年

4 记者 孙小和　程启婕 通讯员 耿暄;江苏移动今年推广26个节能项目[N];人民邮电;2009年

5 本报记者:林玉 实习生:韩晓东;焦炭业：能耗管理竟然“放任自流”[N];经济参考报;2006年

6 陈赛;EnergyWise实现高水平能耗管理[N];人民邮电;2011年

7 记者 张平阳邋实习生 李宁 康榜进;今年节能减排目标确定[N];西安日报;2007年

8 特约记者 李继红;大港采油四厂优化天然气能耗管理[N];中国石油报;2008年

9 记者 汪雅X　通讯员 王珊;天津移动能耗下降超10%[N];人民邮电;2009年

10 刘楠;我国首个电厂能耗实时监控系统问世[N];中国知识产权报;2008年

相关博士学位论文 前10条

1 刘霖;分布式存储系统中的能耗管理策略研究[D];华南理工大学;2013年

2 王禹;分布式存储系统中的数据冗余与维护技术研究[D];华南理工大学;2011年

3 万亚平;基于P2P的分布式存储系统可靠性及故障检测研究[D];华中科技大学;2010年

4 姚杰;分布式存储系统文件级连续数据保护技术研究[D];华中科技大学;2009年

5 宋玮;分布式存储系统中的节点自主性问题研究[D];华南理工大学;2010年

6 张帆;面向公路交通的无线传感器网络节能关键技术研究[D];武汉理工大学;2011年

7 卢宇彤;面向高效能计算的大规模资源管理技术研究与实现[D];国防科学技术大学;2009年

8 牛中盈;并行文件系统安全性研究[D];华中科技大学;2010年

9 袁博;基于可重构技术的网络节点节能问题关键技术研究[D];解放军信息工程大学;2012年

10 葛海通;32位高性能嵌入式CPU及平台研发[D];浙江大学;2009年

相关硕士学位论文 前10条

1 王伟娜;分布式存储系统中容错子系统的设计与实现[D];东北大学;2008年

2 王秀芬;对等网络分布式存储系统的研究[D];天津大学;2010年

3 张凯;分布式存储系统中节点修复问题研究[D];西南交通大学;2012年

4 冯光曦;分布式存储系统安全关键技术研究与实现[D];华中科技大学;2011年

5 刘飞;基于云计算的分布式存储系统的研究和应用[D];西安工业大学;2012年

6 张明;基于网络编码的一种分布式存储系统应用设计[D];南京理工大学;2013年

7 孙程;基于纠删码的分布式存储系统的设计与实现[D];电子科技大学;2010年

8 舒敏;分布式数据存储机制与优化方法研究[D];西安电子科技大学;2013年

9 陈希棠;面向计算机实验教学的分布式存储系统的研究和应用[D];华东理工大学;2012年

10 何润润;网络环境下的分布式存储系统的设计与实现[D];华中科技大学;2011年

本文编号：2517620