面向虚拟集群的镜像存储与传输优化

发布时间：2017-03-20 02:05

  本文关键词：面向虚拟集群的镜像存储与传输优化，，由笔耕文化传播整理发布。

【摘要】：虚拟集群技术的采用在提升硬件资源利用率的同时,也对存储系统的性能提出了很高的要求。一方面,作为虚拟机主要存储形式的稀疏镜像文件的引入,加重了存储系统的碎片化程度;另一方面,多台虚拟机同时运行在一台物理机上,不同存取模式对存储系统的竞争访问使得I/O性能进一步下降。此外,虚拟集群的部署和迁移过程中涉及到大量镜像文件的存储和分发操作,高效存储并在需要时快速传输这些镜像并非易事。论文在对多虚拟机环境I/O工作流的特性分析研究的基础上,针对这些问题进行了研究,其主要工作和贡献包括:设计了一种面向虚拟机镜像的混合存储架构,并根据多虚拟机工作流的特性提出了热区跟踪替换算法。混合存储架构由固态硬盘(SSD)和普通硬盘(HDD)构成,能够利用SSD突出的随机存取性能,克服多虚拟机环境工作流随机性增加导致的I/O系统性能下降问题。热区跟踪(HZT)替换算法采用高效的数据结构维护全局数据块的存取热度,确保热区数据驻留在SSD中。实验表明,在多虚拟机环境下,采用HZT算法的混合存储系统的命中率相对传统算法可提高12%,采用适当的预取策略可使命中率提高23%,同时累积响应时间下降34%。提出了虚拟机镜像按需分发框架。根据虚拟机启动和运行过程中通常只对有限数据块访问,采用按需的分发机制减少了集群部署和关闭过程的数据传输,避免了大量镜像存取请求带来的存储节点和网络瓶颈问题。设计了差异化的数据块划分方法,使用能够提升索引管理效率和数据存取性能的大数据块划分对镜像数据进行去冗余处理,而对镜像分发则采用能够提高数据传输效率的较小数据块划分,兼顾了去冗镜像存储系统读写性能和镜像数据分发效率。对于50个镜像的分发实验表明,相比于全镜像分发,按需分发速度可以提升13-22倍。提出了一个用于多数据中心环境的虚拟机快速动态迁移架构和相应的迁移方法,其核心思想是:利用镜像副本减少虚拟机动态迁移过程中的镜像数据传输,使得虚拟机能够灵活地在各数据中心之间通过低带宽的广域网快速迁移;采用前拷贝和后拷贝相结合的跨数据中心快速动态镜像迁移(FlimCD)算法和脏块去冗机制进一步减少数据传输;通过缺块预取和热区排序传输机制减少后拷贝阶段的远程缺块率,降低镜像迁移对虚拟机性能的影响。测试结果显示,优化后的FlimCD算法比前拷贝算法迁移时间下降64.3%,镜像拷贝后期的缺块率下降49%以上。
【关键词】：虚拟集群 虚拟机镜像 混合存储 镜像分发 镜像传输
【学位授予单位】：清华大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：TP302
【目录】：

• 摘要3-4
• Abstract4-9
• 第1章 引言9-20
• 1.1 研究背景9-16
• 1.1.1 物理集群与虚拟集群9-12
• 1.1.2 存储技术的发展12-14
• 1.1.3 磁盘镜像技术14-16
• 1.2 研究内容16-17
• 1.3 主要贡献17-18
• 1.4 论文的组织18-20
• 第2章 研究现状20-34
• 2.1 混合存储技术相关研究20-25
• 2.2 缓存替换算法相关研究25-26
• 2.3 冗余删除技术相关研究26-29
• 2.4 虚拟机动态迁移技术相关研究29-32
• 2.5 本章小结32-34
• 第3章 虚拟集群的I/O工作流特性分析34-46
• 3.1 多虚拟机环境I/O工作流特性34-39
• 3.2 虚拟机启动过程I/O工作流特性39-42
• 3.3 虚拟机运行过程I/O工作流特性42-44
• 3.4 本章小结44-46
• 第4章 面向多虚拟机的混合存储替换算法优化46-62
• 4.1 引言46-48
• 4.2 混合存储架构设计48-50
• 4.3 热区跟踪替换算法设计50-54
• 4.3.1 热区管理51-53
• 4.3.2 替换方法53
• 4.3.3 预取策略53-54
• 4.4 算法实现54-56
• 4.5 实验结果56-61
• 4.5.1 缓存大小对性能的影响测试56-58
• 4.5.2 区大小对性能的影响测试58-59
• 4.5.3 虚拟机任务切换条件下性能测试59-61
• 4.6 本章小结61-62
• 第5章 虚拟机镜像按需分发框架62-83
• 5.1 引言62-63
• 5.2 按需分发方案63-65
• 5.3 按需分发框架设计65-71
• 5.3.1 计算节点存储设计65-67
• 5.3.2 镜像存储设计67-69
• 5.3.3 镜像分块策略69-70
• 5.3.4 可扩展性分析70-71
• 5.4 镜像按需分发框架实现71-72
• 5.5 实验环境及设置72-73
• 5.6 实验结果73-82
• 5.6.1 镜像存储节点性能测试73-74
• 5.6.2 镜像分发性能测试74-77
• 5.6.3 镜像传输性能测试77-82
• 5.7 本章小结82-83
• 第6章 基于副本的镜像迁移优化方法83-96
• 6.1 引言83-85
• 6.2 快速镜像传输架构设计85-89
• 6.2.1 总体架构85-86
• 6.2.2 镜像文件存储86
• 6.2.3 镜像的标识和脏块记录86
• 6.2.4 FlimCD迁移算法86-88
• 6.2.5 FlimCD算法优化88-89
• 6.2.6 架构实现89
• 6.3 实验结果89-94
• 6.3.1 实验平台及配置89-90
• 6.3.2 镜像仓库性能90-91
• 6.3.3 传输性能测试91-92
• 6.3.4 针对缺块率的优化92-94
• 6.4 本章小结94-96
• 第7章 总结与展望96-99
• 7.1 本文总结96-97
• 7.2 进一步工作97-99
• 参考文献99-106
• 致谢106-108
• 个人简历、在学期间发表的学术论文与研究成果108

【相似文献】

中国期刊全文数据库 前10条

1 曹晓刚;;Java虚拟机的10年[J];程序员;2005年07期

2 宋韬;盘细平;罗元柯;倪国军;;Java虚拟机在嵌入式DSP系统上的实现[J];计算机应用与软件;2007年04期

3 刘黎波;;Java虚拟机拦截原理研究[J];科技风;2008年21期

4 刘治波;;Java虚拟机简析[J];济南职业学院学报;2008年01期

5 郝帅;;Java虚拟机中相关技术的探讨[J];成功(教育);2008年08期

6 李霞;;系统虚拟机关键技术研究[J];微型电脑应用;2010年03期

7 郑晓珑;孔挺;;虚拟机的安全风险与管理[J];硅谷;2010年16期

8 李学昌;平淡;;为速度而战,虚拟机内外兼修[J];电脑爱好者;2010年18期

9 王惠萍;张海龙;冯帆;王建华;;Java虚拟机使用及优化[J];计算机与网络;2010年21期

10 郑婷婷;武延军;贺也平;;云计算环境下的虚拟机快速克隆技术[J];计算机工程与应用;2011年13期

中国重要会议论文全文数据库 前10条

1 孟广平;;虚拟机漂移网络连接方法探讨[A];中国计量协会冶金分会2011年会论文集[C];2011年

2 段翼真;王晓程;;可信安全虚拟机平台的研究[A];第26次全国计算机安全学术交流会论文集[C];2011年

3 李明宇;张倩;吕品;;网络流量感知的虚拟机高可用动态部署研究[A];2014第二届中国指挥控制大会论文集（上）[C];2014年

4 林红;;Java虚拟机面向数字媒体的应用研究[A];计算机技术与应用进展——全国第17届计算机科学与技术应用（CACIS）学术会议论文集（上册）[C];2006年

5 杨旭;彭一明;刑承杰;李若淼;;基于VMware vSphere 5虚拟机的备份系统实现[A];中国高等教育学会教育信息化分会第十二次学术年会论文集[C];2014年

6 沈敏虎;查德平;刘百祥;赵泽宇;;虚拟机网络部署与管理研究[A];中国高等教育学会教育信息化分会第十次学术年会论文集[C];2010年

7 李英壮;廖培腾;孙梦;李先毅;;基于云计算的数据中心虚拟机管理平台的设计[A];中国高等教育学会教育信息化分会第十次学术年会论文集[C];2010年

8 朱欣焰;苏科华;毛继国;龚健雅;;GIS符号虚拟机及实现方法研究[A];《测绘通报》测绘科学前沿技术论坛摘要集[C];2008年

9 于洋;陈晓东;俞承芳;李旦;;基于FPGA平台的虚拟机建模与仿真[A];2007'仪表，自动化及先进集成技术大会论文集（一）[C];2007年

10 丁涛;郝沁汾;张冰;;内核虚拟机调度策略的研究与分析[A];'2010系统仿真技术及其应用学术会议论文集[C];2010年

中国重要报纸全文数据库 前10条

1 ;虚拟机的生与死[N];网络世界;2008年

2 本报记者 卜娜;高性能Java虚拟机将在中国云市场释能[N];中国计算机报;2012年

3 本报记者 邱燕娜;如何告别虚拟机管理烦恼[N];中国计算机报;2012年

4 ;首批通过云计算产品虚拟机管理测评名单[N];中国电子报;2014年

5 申琳;虚拟机泛滥 系统安全怎么办[N];中国计算机报;2008年

6 Tom Henderson邋沈建苗 编译;虚拟机管理的五大问题[N];计算机世界;2008年

7 盆盆;真实的虚拟机[N];中国电脑教育报;2004年

8 本版编辑　综合 编译整理 田梦;管理好虚拟机的全生命周期[N];计算机世界;2008年

9 李婷;中国研制出全球最快反病毒虚拟机[N];人民邮电;2009年

10 张弛;虚拟机迁移走向真正自由[N];网络世界;2010年

中国博士学位论文全文数据库 前10条

1 宋翔;多核虚拟环境的性能及可伸缩性研究[D];复旦大学;2014年

2 王桂平;云环境下面向可信的虚拟机异常检测关键技术研究[D];重庆大学;2015年

3 周真;云平台下运行环境感知的虚拟机异常检测策略及算法研究[D];重庆大学;2015年

4 郭芬;面向虚拟机的云平台资源部署与调度研究[D];华南理工大学;2015年

5 周傲;高可靠云服务供应关键技术研究[D];北京邮电大学;2015年

6 代炜琦;云计算执行环境可信构建关键技术研究[D];华中科技大学;2015年

7 刘圣卓;面向虚拟集群的镜像存储与传输优化[D];清华大学;2015年

8 陈彬;分布环境下虚拟机按需部署关键技术研究[D];国防科学技术大学;2010年

9 刘海坤;虚拟机在线迁移性能优化关键技术研究[D];华中科技大学;2012年

10 刘谦;面向云计算的虚拟机系统安全研究[D];上海交通大学;2012年

中国硕士学位论文全文数据库 前10条

1 潘飞;负载相关的虚拟机放置策略研究[D];杭州电子科技大学;2011年

2 王建一;混合型桌面云高可用性研究与实现[D];华南理工大学;2015年

3 周衡;云计算环境下虚拟机优化调度策略研究[D];河北大学;2015年

4 罗仲皓;基于OpenStack的私有云计算平台的设计与实现[D];华南理工大学;2015年

5 李子堂;面向负载均衡的虚拟机动态迁移优化研究[D];辽宁大学;2015年

6 张煜;基于OpenStack的“实验云”平台的研究与开发[D];西南交通大学;2015年

7 曾文琦;面向应用服务的云规模虚似机性能监控与负载分析技术研究[D];复旦大学;2013年

8 施继成;面向多核处理器的虚拟机性能优化[D];复旦大学;2014年

9 游井辉;基于虚拟机动态迁移的资源调度策略研究[D];华南理工大学;2015年

10 方良英;云平台的资源优化管理研究与实现[D];南京师范大学;2015年

  本文关键词：面向虚拟集群的镜像存储与传输优化，由笔耕文化传播整理发布。

本文编号：256950