面向虚拟机的分布式块存储系统设计及实现

发布时间：2017-08-15 15:33

  本文关键词：面向虚拟机的分布式块存储系统设计及实现

  更多相关文章： 云计算 虚拟机 分布式系统 块存储 高性能 高可用性

【摘要】：云计算被认为是继上次大型计算机到“客户端/服务器”的大转变之后的又一种巨变。一般认为,云计算包括以下几个层次的服务:软件即服务SaaS,平台即服务PaaS和基础设施即服务IaaS。虚拟机技术在IaaS中起到了核心作用,而以虚拟磁盘为代表的I/O模块是制约虚拟机性能的瓶颈。传统的虚拟机存储包括DAS、NAS、SAN以及分布式文件系统。这些存储方式难以完全满足IaaS场景下对容量、性能、可用性、扩展性、价格等方面的需求。通过设计一个面向虚拟机的专用分布式存储系统,提供类SAN的语意,简化系统设计,避免由于文件服务语意带来的额外复杂性,提供较高的性能和可用性、几乎不受限制的扩展性,同时保持低廉的价格,具有较高的创新性。通过创新性地结合本地数据卷、远程数据卷和日志卷,系统达到了较传统的三副本技术(几乎)同等的可用性,同时减少了容量开销。并发写日志和本地数据卷、以及后台更新远程数据卷的方法提高了系统性能。将虚拟机所需的数据迁移到相应的宿主机上,可以提高虚拟机的性能表现。测试表明,系统性能良好,提供了底层设备提供的全部IOPS和绝大部分的带宽;在故障发生过程中,具备容错和恢复能力,恢复过程中的性能仍然可以接受,并没有因为故障恢复导致虚拟机表现出严重性能问题。如下几个问题留待未来解决。数据迁移的网络流量有可能造成网络拥塞,引发连锁故障,未来系统应提供相应的迁移控制机制。磁盘硬件故障可能造成数据卷的部分内容损坏却无法检出,未来系统应该添加完整性校验功能。系统在小块数据连续写方面性能偏低,需要未来进一步优化。系统没有提供对SSD的感知和利用,这是一个可以改进的方面。
【关键词】：云计算 虚拟机 分布式系统 块存储 高性能 高可用性
【学位授予单位】：上海交通大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP302;TP333
【目录】：

• 摘要3-4
• ABSTRACT4-9
• 1 绪论9-23
• 1.1 研究背景和相关技术9-17
• 1.1.1 云计算9-10
• 1.1.2 虚拟机10-11
• 1.1.3 集中式存储系统11-13
• 1.1.4 分布式存储系统13-17
• 1.1.5 虚拟机需要的存储系统17
• 1.2 相关研究现状17-22
• 1.2.1 相关文献17-18
• 1.2.2 相关项目18-22
• 1.3 研究内容22
• 1.4 论文结构22-23
• 2 系统设计和实现23-56
• 2.1 相关背景23-26
• 2.1.1 存储设备栈概述23-25
• 2.1.2 SCST的功能和架构25-26
• 2.1.3 CAP原理和数据一致性算法26
• 2.2 设计要点26-33
• 2.2.1 分布式系统的架构设计26-27
• 2.2.2 I/O请求的拦截层次27-29
• 2.2.3 I/O请求的完成层次29-30
• 2.2.4 组成部分30
• 2.2.5 对虚拟机的位置感知30-31
• 2.2.6 数据一致性设计31
• 2.2.7 缓存层次和数据完整性31-33
• 2.3 系统设计33-34
• 2.4 系统实现34-56
• 2.4.1 C++语言和标准35-36
• 2.4.2 程序正确性和契约式编程36-41
• 2.4.3 RAII惯用法41
• 2.4.4 并发和同步41-47
• 2.4.5 异步操作和Reactor模型47-52
• 2.4.6 异步信号52-53
• 2.4.7 高效的缓冲区设计53-56
• 3 系统测试56-61
• 3.1 测试环境56
• 3.2 测试工具56-57
• 3.3 测试场景57-61
• 3.3.1 宿主机上本地磁盘和本地文件的性能57-58
• 3.3.2 宿主机上本地磁盘和本地文件经SCST和iSCSI挂载的性能58
• 3.3.3 虚拟机使用本地磁盘的性能58
• 3.3.4 虚拟机使用分布式块存储系统的性能58-59
• 3.3.5 故障恢复时的性能59-61
• 4 总结和展望61-62
• 参考文献62-67
• 致谢67-68
• 攻读硕士期间的科研及学术论文68-71
• 附件71

【相似文献】

中国期刊全文数据库 前10条

1 王兴波;;有关虚拟机及虚拟化技术的几点诠注[J];信息化纵横;2009年07期

2 包敬海;;浅谈基于虚拟机保护个人服务器[J];福建电脑;2009年08期

3 张岐;;虚拟机在线迁移技术综述[J];农业网络信息;2012年02期

4 ;实而不“虚” 三大王牌虚拟机评测[J];电脑爱好者;2013年08期

5 付王敏捷;;浅谈虚拟机的原理及应用[J];电子制作;2014年02期

6 ;金蝉脱壳 创建安全的虚拟机系统[J];新电脑;2002年04期

7 虚拟人;;神奇的虚拟机软件[J];软件;2002年12期

8 吴放;虚拟机软件专题测试 运筹帷幄之间[J];新电脑;2003年03期

9 杨兴平;;玩转虚拟机就这么简单[J];网络与信息;2005年12期

10 王国安;康雯瑛;葛稚燕;;使用虚拟机软件解决自动站和人工站月报表数据的审核[J];河南气象;2006年01期

中国重要会议论文全文数据库 前5条

1 韦万贵;;虚拟机软件在实际工作中的应用[A];甘肃成人教育协会2008年年会论文集[C];2008年

2 李永;吴庆波;苏航;;基于虚拟机的动态迁移技术分析和研究[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用（CACIS）学术会议论文集[C];2007年

3 王轶;陈俊辉;;使用VPC2007搭建企业应用和测试平台[A];2007第二届全国广播电视技术论文集2（下）[C];2007年

4 董焱;;基于虚拟化技术的实验教学中心环境构建[A];北京高校实验室工作研究会2010年年会优秀论文[C];2011年

5 董焱;;基于虚拟化技术的实验教学中心环境构建[A];北京高教学会实验室工作研究会2010年学术研讨会论文集（下册）[C];2010年

中国重要报纸全文数据库 前10条

1 特约作者：聂阳德 钟达文;体验虚拟机的神奇魅力[N];电脑报;2002年

2 黄树;实战虚拟机软件[N];中国电脑教育报;2004年

3 卿晨;虚拟机为网络教学收紧成本口袋[N];中国电脑教育报;2007年

4 ;虚拟机管理工具仍有改进空间[N];网络世界;2007年

5 四川工程职业技术学院 江平;虚拟机助力计算机教学[N];中国电脑教育报;2006年

6 区阳;微软推出首款虚拟机软件[N];中国计算机报;2003年

7 丁士明;联想虚拟化解决方案[N];中国计算机报;2007年

8 特约作者 滔滔江水;计算机也能虚拟[N];电脑报;2002年

9 ;虚拟化市场增长近五成[N];网络世界;2006年

10 本报特约撰稿 陈杰;虚拟化：制度下的安全[N];计算机世界;2009年

中国博士学位论文全文数据库 前7条

1 林杰;面向服务监控的可控云关键技术研究[D];北京邮电大学;2015年

2 林铭炜;面向云平台的虚拟机异常行为检测方法研究[D];重庆大学;2014年

3 陈微;基于动态二进制翻译的协同设计虚拟机关键技术研究[D];国防科学技术大学;2010年

4 马飞;云数据中心中虚拟机放置和实时迁移研究[D];北京交通大学;2013年

5 王晓静;I/O虚拟化的性能隔离和优化[D];华中科技大学;2012年

6 张逢U，

本文编号：678964