云数据中心软件节能关键技术的研究

发布时间：2017-12-22 04:34

  本文关键词：云数据中心软件节能关键技术的研究　出处：《武汉大学》2016年博士论文　论文类型：学位论文

  更多相关文章： 云数据中心 云计算 网络虚拟化 重复数据删除 软件节能

【摘要】：能耗问题一直是制约数据中心可持续发展的关键问题。特别是随着云计算、大数据的快速发展,数据中心的规模越来越大,能耗也随之增长。据IDC research咨询公司提供的数据显示：2015年我国数据中心总能耗将达到1000亿kWh左右,相当于三峡电站一年的发电量,2020年将超过2500亿kWh,或将超过当前全球数据中心的能耗总量。因此,降低云数据中心能耗已成为一个急需解决的对于环境和经济发展具有重要影响的重大社会问题。如何有效应对数据中心的能耗剧增问题?不同的研究专家分别从不同的角度展开了深入研究。本文主要讨论：如何通过融合云数据中心计算虚拟化、存储虚拟化和网络虚拟化所带来的与传统数据中心不一样的软件能力,探索适合大规模云数据中心的软件节能机制和系统原型,从IT系统的源头上降低云数据中心能耗需求。主要工作和创新如下：(1)为了减少数据计算环节的能耗,本文分析了云数据中心负载变化规律和用户期望完成时间变化规律。并建立起了以满足用户动态满意度为中心的资源分配与调度模型一云数据中心基于用户行为特征的资源分配策略模型。并通过一系列针对实际场景下数据的统计与分析,论证了该模型在云数据中心场景下的正确性。在新模型中,云数据中心的资源调度与分配策略不仅依赖负载模型,同时依赖用户预期完成时间模型。当系统预测到负载高峰即将到来时,系统控制中心不再是单纯通知资源调度中心增加资源，，而是会同步预测用户预期完成的时间,根据两个函数的预测结果实时刷新资源调度与分配策略。使得系统在满足用户预期任务完成时间的前提下实现任务并发最大化,从而提升单位资源利用率,减少无效的资源迁移与调度能源消耗。因为本文研究的方法是以满足用户静态SLA为上限的方法,所以该方法相对其他以固定SLA为基础的资源调度算法有着更低的能耗。(2)为了减少数据存储环节的能耗,本文系统地分析了云数据中心重复数据的分布规律,构建了云数据中心的重复数据分布模型,并提出了用户感知的高性能集群重复数据删除存储系统。在新系统中,重复数据删除系统不再基于重复数据分布的时间局部性和空间局部性特征设计,而是基于新特征一重复数据用户局部性特征而设计。即相关度越大的两个数据Owner之间的数据会自动划分到同一组中,检索重复数据时也按相关度的大小在划定的分组内进行检索。这样,新算法中需要常驻内存的指纹数量就不再随着数据的线性增加而线性增加,从而解决了重复数据删除系统单节点的性能瓶颈问题。除此之外,本文还剖析了集群重复数据删除系统普遍存在重删率、性能与可扩展性相互竞争的“三难问题”。并通过引入虚拟节点和全局编址法,解决了当前集群重复数据删除系统所面临的“三难问题”。如前所述,本文解决了重复数据删除系统的性能瓶颈问题,从而为其应用到主存场景做好了准备,也为大幅度减少主存设备中的重复数据,降低主存设备的能耗提供了有力支撑。(3)为了减少数据传输环节的能耗,本文设计了一个应用感知的网络数据传输模型。在该模型中,网络设备不再是单纯的数据转发与复制,而是可以主动感知上层应用软件的数据传输模型,并充分利用SDN网络的可编程特性,自动地进行流量整合与优化,减少云数据中心的东西流量,达到降低能耗的目的。本文将该模型应用到大数据处理平台的数据存储系统中,将存储阵列的元数据有策略地发布给SDN Controller,并动态调整OpenFlow switch的流表,由管道直接分发和重定向数据,减少数据在服务器端的重复处理和在数据中心网络中重复流动,休眠空闲部分网络设备或链路,提高传输效能,达到节能的目的。综上所述,本文主要围绕数据计算、数据存储和数据传输三个环节的节能减排进行技术创新和突破。为降低云数据中心的能源消耗提供技术支撑。
【学位授予单位】：武汉大学
【学位级别】：博士
【学位授予年份】：2016
【分类号】：TP308

【相似文献】

中国期刊全文数据库 前10条

1 ;重复数据删除可实现25:1压缩[J];每周电脑报;2007年01期

2 贾志凯;王树鹏;陈光达;彭成;;一种并行层次化的重复数据删除技术[J];计算机研究与发展;2011年S1期

3 Eric Bassier;;应对数据增长的重磅武器——重复数据删除技术[J];计算机与网络;2013年06期

4 于丹;;昆腾进入重复数据删除市场[J];每周电脑报;2007年09期

5 卢敏;;“零距离”重复数据删除[J];软件世界;2008年11期

6 卢敏;;点亮“重复数据删除”[J];软件世界;2008年06期

7 徐立洋;;选购重复数据删除方案 软硬兼施剔除鸡肋数据[J];中国计算机用户;2009年08期

8 邢延刚;;删除重复值我有妙法[J];电脑迷;2009年09期

9 李刚;;重复数据删除走向“源头”[J];中国计算机用户;2009年16期

10 雷赫;;重复数据删除技术方案选型 删除冗余 优化存储[J];中国计算机用户;2009年23期

中国重要会议论文全文数据库 前3条

1 贾志凯;王树鹏;陈光达;彭成;;一种并行层次化的重复数据删除技术[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

2 杨廷梧;;基于重复数据删除的靶场试验信息存储技术[A];2009年西部光子学学术会议论文摘要集[C];2009年

3 肖钧;黄亮;;虚拟化搭配去重,双剑合璧更给力[A];2011年CAD/CAM学术交流会议论文集[C];2011年

中国重要报纸全文数据库 前10条

1 本报记者 张伟;重复数据删除能被扶正吗[N];中国计算机报;2008年

2 王琨月;重复数据删除不该忽视弱点[N];网络世界;2008年

3 本报记者 郭涛;基于硬件的重复数据删除效率更高[N];中国计算机报;2009年

4 朱皎;重复数据删除技术渐成主流[N];电脑商报;2009年

5 邢小萍;重复数据删除技术渐入佳境[N];网络世界;2009年

6 本报记者 刑小萍;重复数据删除市场迎来开门红[N];网络世界;2010年

7 清水　编译;部署重复数据删除[N];计算机世界;2010年

8 编译 张磊;谁在拖重复数据删除的后腿[N];中国计算机报;2009年

9 本报记者 郭涛;重复数据删除2.0追求“双高”[N];中国计算机报;2012年

10 编译 沈建苗;你果真需要重复数据删除技术吗[N];计算机世界;2013年

中国博士学位论文全文数据库 前10条

1 林彬;主存储服务系统中高I/O性能的重复数据删除技术研究[D];国防科学技术大学;2014年

2 阎芳;重复数据删除系统数据组织研究[D];北京理工大学;2015年

3 周炳;海量数据的重复数据删除中元数据管理关键技术研究[D];清华大学;2015年

4 周景才;云数据中心软件节能关键技术的研究[D];武汉大学;2016年

5 王国华;高效重复数据删除技术研究[D];华南理工大学;2014年

6 王灿;基于在线重复数据消除的海量数据处理关键技术研究[D];电子科技大学;2012年

7 付印金;面向云环境的重复数据删除关键技术研究[D];国防科学技术大学;2013年

8 周正达;信息存储系统中重复数据删除技术的研究[D];华中科技大学;2012年

9 杨天明;网络备份中重复数据删除技术研究[D];华中科技大学;2010年

10 朱锐;重复数据删除技术中的并行性能优化算法研究[D];华中科技大学;2013年

中国硕士学位论文全文数据库 前10条

1 张明月;客户端加密重复数据删除机制的研究[D];西安电子科技大学;2014年

2 黄可;重复数据可删除的云数据审计协议的研究[D];电子科技大学;2015年

3 王振宇;安全云存储中重复数据删除机制研究[D];南京邮电大学;2015年

4 李志然;云存储中集群重复数据删除系统的研究与设计[D];东北大学;2014年

5 张宏亮;重复数据删除技术在云存储中的应用与实现[D];华中科技大学;2014年

6 曹秀秀;面向XML相似性重复数据的清洗方法研究[D];首都经济贸易大学;2016年

7 彭健;基于重复数据删除的教育资源管理系统设计与实现[D];电子科技大学;2016年

8 陈琳;基于存储系统的重复数据删除技术的研究[D];南京邮电大学;2016年

9 涂群;云存储系统中重复数据删除机制的研究[D];南京邮电大学;2016年

10 曲新奎;云存储中数据编码优化和重复数据删除技术研究[D];东北大学;2013年

本文编号：1318470