基于HDFS的云存储系统性能与安全性研究

发布时间：2017-04-13 01:18

  本文关键词：基于HDFS的云存储系统性能与安全性研究，由笔耕文化传播整理发布。

【摘要】：相比于传统的计算机集群运算,Hadoop集群更容易维护和扩展,且Hadoop集群在执行大规模运算时都是基于大量的廉价机器实现的。OpenStack是一种开源的基础设施云服务,使用虚拟机管理调度计算机集群可以使得负载均衡、弹性运算等操作的成本更低,无需管理员手动维护。本文对OpenStack云计算平台作出了简要介绍,并基于此尝试搭建了HDFS分布式文件存储系统。随着网络信息吞吐量的极速膨胀,HDFS在很多情况下是被做为海量数据的云储存系统使用的,在保证存储效率的同时,对数据的可靠性要求也非常高。目前的HDFS系统是通过副本数据冗余的方法来提高存储过程中的容错性,该方法实现简单,但效率较低,且最大的问题在于每个副本文件中的内容与原数据全部一致,难以保证文件的安全性。本文基于HDFS系统,通过随机线性网络编码实现数据冗余,再将编码后的数据分散存储在副本文件中,结合多节点读取并行解码的机制,在大幅度提升了数据读取效率的同时,也充分保证了数据在传输和存储过程中的安全性。即使整个副本文件都被第三方截获,第三方也不能得到单个完整的编码后的数据,更不可能通过解码还原出原始数据,因此,几乎杜绝了数据泄露的可能性。传统的介质存储设备已经不能满足人们对于大数据量存储的需求,云存储服务的发展将很好地缓解这一现象,各式各样的云储存系统在近些年中被开发出来。但基于HDFS的应用却很少,我们基于HDFS开发了VISG云同步软件,这是一个可以实现将本地文件和HDFS系统中的文件同步的软件,操作简单,使用方便。本文从系统结构,运算过程,算法分析,使用说明等角度介绍了软件的开发与编写过程。
【关键词】：云计算 虚拟机 HDFS OpenStack 随机线性网络编码 多节点读取 VISG云同步软件
【学位授予单位】：南京大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333;TP309
【目录】：

• 摘要4-5
• Abstract5-12
• 第一章 绪论12-25
• 1.1 研究背景12-14
• 1.2 云计算的优势及发展前景14-15
• 1.3 OpenStack简介15-19
• 1.3.1 什么是OpenStack15-16
• 1.3.2 计算平台的技术支撑16-18
• 1.3.3 OpenStack概念架构18-19
• 1.4 HDFS的特点及架构组成19-23
• 1.4.1 数据的高容错性与高可靠性20
• 1.4.2 大数据集与可移植性20
• 1.4.3 HDFS的架构20-23
• 1.5 本文的工作和组织结构23-25
• 第二章 OpenStack云计算平台搭建过程中的技术难点25-34
• 2.1 云计算系统的关键技术25-28
• 2.1.1 VMware25-27
• 2.1.2 Xen简介27-28
• 2.2 实验环境和技术选择28-29
• 2.3 使用物理机和虚拟机部署云计算的差异29-30
• 2.3.1 使用虚拟机部署平台的优势29-30
• 2.3.2 使用虚拟机部署平台的劣势30
• 2.4 OpenStack云计算平台的部署30-33
• 2.5 本章小结33-34
• 第三章 HDFS文件传输安全性和读取效率研究34-48
• 3.1 相关背景介绍34-35
• 3.2 网络编码原理与可能性分析35-42
• 3.2.1 网络编码介绍36
• 3.2.2 随机线性网络编码的优势36-39
• 3.2.3 HDFS中技术革新部分39-40
• 3.2.4 多节点读取系统40-41
• 3.2.5 防窃取机制41-42
• 3.3 编解码过程42-45
• 3.3.1 基于随机线性网络编码的过程示例42-43
• 3.3.2 多节点读取过程示例43-44
• 3.3.3 数据修复机制44-45
• 3.4 实验结果与性能分析45-46
• 3.4.1 读性能结果与分析45-46
• 3.4.2 写性能结果与分析46
• 3.5 本章小结46-48
• 第四章 云同步软件VISG的设计48-58
• 4.1 相关工作与系统架构设计50-52
• 4.1.1 相关工作50
• 4.1.2 软件结构分析50-52
• 4.2 软件算法介绍52-53
• 4.3 文件同步的具体过程53-55
• 4.4 软件界面与使用说明55-56
• 4.5 本章小结56-58
• 第五章 总结与展望58-61
• 5.1 本文的工作与创新点58-59
• 5.1.1 创新点58
• 5.1.2 本文的工作58-59
• 5.2 展望59-61
• 参考文献61-63
• 简历与科研成果63-64
• 致谢64-65

【相似文献】

中国期刊全文数据库 前10条

1 曹晓刚;;Java虚拟机的10年[J];程序员;2005年07期

2 宋韬;盘细平;罗元柯;倪国军;;Java虚拟机在嵌入式DSP系统上的实现[J];计算机应用与软件;2007年04期

3 刘黎波;;Java虚拟机拦截原理研究[J];科技风;2008年21期

4 刘治波;;Java虚拟机简析[J];济南职业学院学报;2008年01期

5 郝帅;;Java虚拟机中相关技术的探讨[J];成功(教育);2008年08期

6 李霞;;系统虚拟机关键技术研究[J];微型电脑应用;2010年03期

7 郑晓珑;孔挺;;虚拟机的安全风险与管理[J];硅谷;2010年16期

8 李学昌;平淡;;为速度而战,虚拟机内外兼修[J];电脑爱好者;2010年18期

9 王惠萍;张海龙;冯帆;王建华;;Java虚拟机使用及优化[J];计算机与网络;2010年21期

10 郑婷婷;武延军;贺也平;;云计算环境下的虚拟机快速克隆技术[J];计算机工程与应用;2011年13期

中国重要会议论文全文数据库 前10条

1 孟广平;;虚拟机漂移网络连接方法探讨[A];中国计量协会冶金分会2011年会论文集[C];2011年

2 段翼真;王晓程;;可信安全虚拟机平台的研究[A];第26次全国计算机安全学术交流会论文集[C];2011年

3 李明宇;张倩;吕品;;网络流量感知的虚拟机高可用动态部署研究[A];2014第二届中国指挥控制大会论文集（上）[C];2014年

4 林红;;Java虚拟机面向数字媒体的应用研究[A];计算机技术与应用进展——全国第17届计算机科学与技术应用（CACIS）学术会议论文集（上册）[C];2006年

5 杨旭;彭一明;刑承杰;李若淼;;基于VMware vSphere 5虚拟机的备份系统实现[A];中国高等教育学会教育信息化分会第十二次学术年会论文集[C];2014年

6 沈敏虎;查德平;刘百祥;赵泽宇;;虚拟机网络部署与管理研究[A];中国高等教育学会教育信息化分会第十次学术年会论文集[C];2010年

7 李英壮;廖培腾;孙梦;李先毅;;基于云计算的数据中心虚拟机管理平台的设计[A];中国高等教育学会教育信息化分会第十次学术年会论文集[C];2010年

8 朱欣焰;苏科华;毛继国;龚健雅;;GIS符号虚拟机及实现方法研究[A];《测绘通报》测绘科学前沿技术论坛摘要集[C];2008年

9 于洋;陈晓东;俞承芳;李旦;;基于FPGA平台的虚拟机建模与仿真[A];2007'仪表，自动化及先进集成技术大会论文集（一）[C];2007年

10 丁涛;郝沁汾;张冰;;内核虚拟机调度策略的研究与分析[A];'2010系统仿真技术及其应用学术会议论文集[C];2010年

中国重要报纸全文数据库 前10条

1 ;虚拟机的生与死[N];网络世界;2008年

2 本报记者 卜娜;高性能Java虚拟机将在中国云市场释能[N];中国计算机报;2012年

3 本报记者 邱燕娜;如何告别虚拟机管理烦恼[N];中国计算机报;2012年

4 ;首批通过云计算产品虚拟机管理测评名单[N];中国电子报;2014年

5 申琳;虚拟机泛滥 系统安全怎么办[N];中国计算机报;2008年

6 Tom Henderson邋沈建苗 编译;虚拟机管理的五大问题[N];计算机世界;2008年

7 盆盆;真实的虚拟机[N];中国电脑教育报;2004年

8 本版编辑　综合 编译整理 田梦;管理好虚拟机的全生命周期[N];计算机世界;2008年

9 李婷;中国研制出全球最快反病毒虚拟机[N];人民邮电;2009年

10 张弛;虚拟机迁移走向真正自由[N];网络世界;2010年

中国博士学位论文全文数据库 前10条

1 宋翔;多核虚拟环境的性能及可伸缩性研究[D];复旦大学;2014年

2 王桂平;云环境下面向可信的虚拟机异常检测关键技术研究[D];重庆大学;2015年

3 周真;云平台下运行环境感知的虚拟机异常检测策略及算法研究[D];重庆大学;2015年

4 郭芬;面向虚拟机的云平台资源部署与调度研究[D];华南理工大学;2015年

5 周傲;高可靠云服务供应关键技术研究[D];北京邮电大学;2015年

6 陈彬;分布环境下虚拟机按需部署关键技术研究[D];国防科学技术大学;2010年

7 刘海坤;虚拟机在线迁移性能优化关键技术研究[D];华中科技大学;2012年

8 刘谦;面向云计算的虚拟机系统安全研究[D];上海交通大学;2012年

9 赵佳;虚拟机动态迁移的关键问题研究[D];吉林大学;2013年

10 邓莉;基于虚拟机迁移的动态资源配置研究[D];华中科技大学;2013年

中国硕士学位论文全文数据库 前10条

1 潘飞;负载相关的虚拟机放置策略研究[D];杭州电子科技大学;2011年

2 王建一;混合型桌面云高可用性研究与实现[D];华南理工大学;2015年

3 周衡;云计算环境下虚拟机优化调度策略研究[D];河北大学;2015年

4 罗仲皓;基于OpenStack的私有云计算平台的设计与实现[D];华南理工大学;2015年

5 李子堂;面向负载均衡的虚拟机动态迁移优化研究[D];辽宁大学;2015年

6 张煜;基于OpenStack的“实验云”平台的研究与开发[D];西南交通大学;2015年

7 曾文琦;面向应用服务的云规模虚似机性能监控与负载分析技术研究[D];复旦大学;2013年

8 施继成;面向多核处理器的虚拟机性能优化[D];复旦大学;2014年

9 游井辉;基于虚拟机动态迁移的资源调度策略研究[D];华南理工大学;2015年

10 方良英;云平台的资源优化管理研究与实现[D];南京师范大学;2015年

  本文关键词：基于HDFS的云存储系统性能与安全性研究，，由笔耕文化传播整理发布。

本文编号：302485