基于随机线性网络编码的云存储系统研究

发布时间：2017-06-25 10:12

  本文关键词：基于随机线性网络编码的云存储系统研究，，由笔耕文化传播整理发布。

【摘要】：与传统计算机集群相比,基础设施云在弹性运算,负载均衡等方面有诸多优势,而且基础设施云可以在性能比较低的机器上运行,这就使得基于基础设施云的服务有良好的可扩展性。OpenStack是与EC2类似的开源基础设施云服务,它借用了虚拟化技术管理来大规模的计算机集群。本文会先介绍OpenStack云计算平台的部署流程,并基于该云计算平台搭建HDFS云存储系统。 HDFS是一种分布式云存储系统,属于Hadoop项目的子项目,它提供了高吞吐率的数据读取,适用于那些需要大数据量的应用。HDFS适合在廉价的机器上运行,因此在HDFS上存储数据时要更加关注数据的可靠性。目前HDFS通过副本冗余的方式实现高容错性,该方法最大坏处在于占用的磁盘空间过大。本文将提供一种基于随机线性网络编码的数据冗余方案,该方案适用于分布式存储系统,其最大的优点在于保证相同数据可靠性的前提下,能大幅降低数据的冗余。使用随机线性网络编码,即使部分数据在传输途中被第三方劫持,第三方也难以通过这些被劫持的数据恢复原始数据,因此数据的安全性也可以得到保证。 云存储可以为用户提供良好的服务,比如现如今风靡全球的文件同步服务的后端一般使用云存储服务。HDFS作为分布式存储系统中的佼佼者,同样可以给用户提供优质的服务,不过基于HDFS的应用少之又少。我们基于HDFS开发了VISG云同步软件,它可以将多种文件系统和HDFS系统中的文件进行同步,而且操作简易,用户无需了解HDFS即可快速上手。本文将会对该软件的设计过程,软件应用到主要算法以及软件的使用方法做详细的说明。
【关键词】：基础设施云 OpenStack HDFS 随机线性网络编码 数据冗余 VISG云同步软件
【学位授予单位】：南京大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333
【目录】：

• 摘要4-5
• Abstract5-11
• 第一章 绪论11-19
• 1.1 研究背景11-12
• 1.2 OpenStack 介绍12-14
• 1.3 HDFS的优势及其应用场合14-15
• 1.3.1 适合大规模数据14
• 1.3.2 数据的高可靠性14-15
• 1.3.3 扩展性强15
• 1.4 HDFS 架构15-17
• 1.5 本文工作及组织结构17-19
• 第二章 基于OpenStack的云计算实验平台设计19-31
• 2.1 实验平台硬件环境19
• 2.2 实验平台系统架构19-20
• 2.3 实验平台技术细节20-28
• 2.3.1 虚拟化技术选择20-22
• 2.3.2 网络类型选择22-24
• 2.3.3 虚拟机调度算法24-28
• 2.4 Hadoop在云计算实验平台的部署28-30
• 2.4.1 虚拟机与物理机上部署Hadoop的差异28
• 2.4.2 在虚拟机部署Hadoop的优势和劣势28-29
• 2.4.3 Hadoop在云计算实验平台的部署步骤29-30
• 2.5 本章小结30-31
• 第三章 基于网络编码和多节点读取的分布式文件存储系统方案31-44
• 3.1 相关工作31
• 3.2 网络编码与HDFS中的数据冗余方案31-35
• 3.2.1 网络编码介绍32
• 3.2.2 随机线性网络编码32-34
• 3.2.3 HDFS中副本放置方案和副本选择方案34-35
• 3.3 系统编解码方案设计35-37
• 3.4 系统详细架构设计37-40
• 3.4.1 写文件操作37-38
• 3.4.2 读文件操作38-40
• 3.4.3 数据修复操作40
• 3.5 实验结果与性能分析40-42
• 3.5.1 文件读性能比较40-42
• 3.5.2 文件写性能比较42
• 3.6 本章小结42-44
• 第四章 VISG云同步软件设计44-57
• 4.1 相关工作44
• 4.2 软件架构设计44-47
• 4.3 详细技术细节47-53
• 4.3.1 使用Maven解决依赖关系47-48
• 4.3.2 文件同步算法48-50
• 4.3.3 HDFS文件操作接口50-53
• 4.4 VISG云同步软件使用说明53-55
• 4.4.1 登录53
• 4.4.2 同步文件53-55
• 4.4.3 收藏55
• 4.4.4 关于55
• 4.5 本章小结55-57
• 第五章 总结与展望57-60
• 5.1 本文的创新点57-58
• 5.2 展望58-60
• 附录A 相关代码60-64
• A.1 使用Maven解决依赖关系的XML配置文件60-64
• 参考文献64-66
• 致谢66-67

【相似文献】

中国期刊全文数据库 前10条

1 夏凯铨;;《信号与线性网络分析》中一个例题解答的探讨[J];高等学校电工课程教学工作通讯;1984年Z1期

2 李春明;含有零泛器的线性网络的稀疏表分析法[J];内蒙古工业大学学报(自然科学版);1994年04期

3 黄汝激;一般线性网络的混合分析法[J];电子学通讯;1982年04期

4 李国吉;等值电路法列写线性网络的状态方程[J];国防科技大学学报;1983年03期

5 李竹英;陈崇源;;线性网络分析中动态元件的初始条件用奇异函数描述的必要性——对电工教学中一疑点的剖析[J];工科电工教学;1984年04期

6 刘卫红;;线性网络直、交流与频谱的计算机分析[J];华东地质学院学报;1988年03期

7 邱东明;新颖的甚低频线性网络频率响应测量方法[J];仪器仪表学报;1994年03期

8 钮王杰;线性网络分析方法教学之我见[J];运城高专学报;1996年04期

9 王建成,苏武浔,陈年;场论说对含互感线性网络的迭加定理的证明[J];电子学报;1998年03期

10 康巨珍;线性网络研究[J];天津职业技术师范学院学报;1998年01期

中国重要会议论文全文数据库 前1条

1 郑应文;;线性网络故障诊断的定向激励方法[A];1994中国控制与决策学术年会论文集[C];1994年

中国博士学位论文全文数据库 前1条

1 司菁菁;面向异构网络的网络编码技术研究[D];北京邮电大学;2010年

中国硕士学位论文全文数据库 前9条

1 陈涛;网络组播中线性网络编码研究[D];武汉理工大学;2009年

2 李海涛;多主体线性网络系统的鲁棒同步性[D];华中科技大学;2013年

3 李江涛;一种线性网络动态分析的新方法[D];华北电力大学（北京）;2007年

4 张益明;线性网络编码研究[D];扬州大学;2009年

5 蒋铭勋;随机线性网络编码中安全性问题研究[D];复旦大学;2010年

6 孙杰英;基于滑动窗口的随机线性网络编码研究[D];中南大学;2012年

7 汤文杰;基于随机线性网络编码的云存储系统研究[D];南京大学;2014年

8 刘柏江;基于线性网络特性系统稳态运行控制的潮流算法研究[D];广西大学;2014年

9 韩旭;线性网络编码相关性分析及其在传染路由中的应用研究[D];南京理工大学;2012年

  本文关键词：基于随机线性网络编码的云存储系统研究，由笔耕文化传播整理发布。

本文编号：481745