CSCloud云存储系统副本管理方法研究与实现
发布时间：2021-10-31 00:32
云存储实现了海量数据的存储与管理,向用户提供简单而可靠的存储服务,正在受到越来越广泛的关注。副本管理技术是云存储系统中用来提高系统可用性、可靠性以及可扩展性的关键技术之一。但是副本管理技术的引入,也带来了副本创建、副本动态调整等副本管理方面的问题。因此研究在云存储环境下的副本管理方法并验证其有效性就成为了一项重要的研究课题。本文在对几种典型云存储系统副本管理方法进行研究与分析的基础上,针对自主研发的CSCloud云存储系统,提出了一种基于静态放置和动态调整相结合的副本管理方法。在该副本管理方法中,在副本初始生成阶段,元数据管理服务器结合文件服务器历史信息和用户信息,根据静态副本节点选取算法,实现用户文件副本与文件服务器的均衡分配;在副本动态调整阶段,元数据管理服务器结合监控系统的反馈信息,根据动态副本节点选取算法,完成用户文件副本的动态调整,提高了CSCloud云存储系统的可用性、可靠性和负载均衡性。本文还设计和实现了文件的多版本存储和管理,减少了文件服务器的存储压力,提升了CSCloud云存储系统的存储效率。本文将所提出的副本管理方法在CSCloud云存储系统中加以实现和应用,通过模...
【文章来源】：长安大学陕西省 211工程院校 教育部直属院校
【文章页数】：66 页
【学位级别】：硕士
【部分图文】：
云存储层次化模型图
2.1 Google 文件系统为了解决快速增加的数据存储和处理需求，谷歌提出了可扩展的分布式文件系FS。与传统的分布式文件系统相比，它有几个明显的特点，首先因为它的数据中心价 PC 机组成，所以当系统中节点出现错误时，不做异常处理，默认是一种常态；主要针对单位为 GB 级以上的大文件；最后对文件的修改以追加写为主，几乎没有写。GFS 的系统架构如图 2.1 所示。采用主从式架构，其中 Master（主服务器）是 G元数据管理服务器，存储着系统所有的元数据，并且对整个文件系统进行管理，数务器（Chunk 服务器）有普通的 PC 机组成，对用户数据进行存储，同时可以对数行访问与修改。GFS 地理上广泛分布，采用多层布局的架构，机架上安装着数不清数据服务器，来自任何机架的用户都可以访问这些服务器。
图 2.2 S3 基本结构图为了使系统中的存储对象比较均衡地分布，Amazon 采用了改进的一致性哈希首先介绍一致性哈希算法，如图 2.3 所示。该算法可以分为两个过程，第一步求出存储服务器的哈希值，然后由所有的值构成一个哈希环，每个哈希值代表服务器；第二步计算需要进行存储的数据的哈希值，然后把这些哈希值按照顺映射到第一步的哈希环上离它最近的存储服务器上。由于一致性哈希算法没有储服务器的异构性，于是 Amazon 引入了虚拟节点的概念，虚拟节点越多表示器的处理能力越强。改进的一致性哈希算法的每个存储服务器都拥有多个处理相同的虚拟节点，我们可以通过存储服务器拥有的虚拟节点数来区分它们的处
【参考文献】：
期刊论文
[1]浅谈云存储技术的特点及其应用[J]. 张娟. 中国新通信. 2016(14)
[2]基于AmazonS3的云存储系统的设计[J]. 郭巍,李小勇. 微型电脑应用. 2016(01)
[3]基于热度分析的动态副本创建算法[J]. 饶磊,杨凡德,李新明,刘东. 计算机应用. 2014(S2)
[4]云存储数据完整性校验机制研究[J]. 徐先栋,孔令涛,王蒙. 信息安全与通信保密. 2014(10)
[5]OpenStack Swift关键技术分析与性能评测[J]. 葛江浩,刘磊,李小勇. 微型电脑应用. 2013(11)
[6]Hadoop副本放置策略[J]. 邵秀丽,王亚光,李云龙,刘一伟. 智能系统学报. 2013(06)
[7]分布式文件系统元数据服务器高可用性设计[J]. 战科宇,李小勇,刘海涛. 小型微型计算机系统. 2013(04)
[8]基于云存储技术的存储架构模型[J]. 员建厦. 计算机与网络. 2013(07)
[9]基于Amazon S3兼容云存储平台的媒体文件存储与访问[J]. 宋顺祥,姜莹. 信息通信技术. 2013(01)
[10]安全云存储系统与关键技术综述[J]. 傅颖勋,罗圣美,舒继武. 计算机研究与发展. 2013(01)
博士论文
[1]面向云存储副本复制的一致性关键技术研究[D]. 杨英仪.华南理工大学 2015
[2]面向大数据的异构集群存储系统副本放置与选择策略研究[D]. 熊润群.东南大学 2015
[3]多版本块备份数据管理关键技术研究[D]. 吴广君.哈尔滨工业大学 2010
硕士论文
[1]云存储环境下副本管理策略研究与实现[D]. 杜国平.北京邮电大学 2017
[2]Geo-distributed云存储服务中数据副本放置策略的研究[D]. 刘圆圆.吉林大学 2016
[3]私有云中的数据同步、备份和恢复系统的设计与实现[D]. 黄辉.电子科技大学 2016
[4]基于Openstack云存储技术的研究与实现[D]. 夏志雄.华南理工大学 2016
[5]云存储环境下副本管理策略研究[D]. 张翠苹.沈阳航空航天大学 2016
[6]基于Swift的资源负载均衡策略研究[D]. 闫晓勇.哈尔滨工业大学 2015
[7]云环境下的高效多副本管理研究[D]. 施振磊.电子科技大学 2015
[8]基于Hadoop的数据备份技术的研究与实现[D]. 李超越.北京邮电大学 2015
[9]基于OpenStack的云存储系统的研究与设计[D]. 邵珠兴.北京工业大学 2014
[10]云存储系统中数据复制关键技术研究[D]. 王义波.南京邮电大学 2014
本文编号：3467705
【文章来源】：长安大学陕西省 211工程院校 教育部直属院校
【文章页数】：66 页
【学位级别】：硕士
【部分图文】：
云存储层次化模型图
2.1 Google 文件系统为了解决快速增加的数据存储和处理需求，谷歌提出了可扩展的分布式文件系FS。与传统的分布式文件系统相比，它有几个明显的特点，首先因为它的数据中心价 PC 机组成，所以当系统中节点出现错误时，不做异常处理，默认是一种常态；主要针对单位为 GB 级以上的大文件；最后对文件的修改以追加写为主，几乎没有写。GFS 的系统架构如图 2.1 所示。采用主从式架构，其中 Master（主服务器）是 G元数据管理服务器，存储着系统所有的元数据，并且对整个文件系统进行管理，数务器（Chunk 服务器）有普通的 PC 机组成，对用户数据进行存储，同时可以对数行访问与修改。GFS 地理上广泛分布，采用多层布局的架构，机架上安装着数不清数据服务器，来自任何机架的用户都可以访问这些服务器。
图 2.2 S3 基本结构图为了使系统中的存储对象比较均衡地分布，Amazon 采用了改进的一致性哈希首先介绍一致性哈希算法，如图 2.3 所示。该算法可以分为两个过程，第一步求出存储服务器的哈希值，然后由所有的值构成一个哈希环，每个哈希值代表服务器；第二步计算需要进行存储的数据的哈希值，然后把这些哈希值按照顺映射到第一步的哈希环上离它最近的存储服务器上。由于一致性哈希算法没有储服务器的异构性，于是 Amazon 引入了虚拟节点的概念，虚拟节点越多表示器的处理能力越强。改进的一致性哈希算法的每个存储服务器都拥有多个处理相同的虚拟节点，我们可以通过存储服务器拥有的虚拟节点数来区分它们的处
【参考文献】：
期刊论文
[1]浅谈云存储技术的特点及其应用[J]. 张娟. 中国新通信. 2016(14)
[2]基于AmazonS3的云存储系统的设计[J]. 郭巍,李小勇. 微型电脑应用. 2016(01)
[3]基于热度分析的动态副本创建算法[J]. 饶磊,杨凡德,李新明,刘东. 计算机应用. 2014(S2)
[4]云存储数据完整性校验机制研究[J]. 徐先栋,孔令涛,王蒙. 信息安全与通信保密. 2014(10)
[5]OpenStack Swift关键技术分析与性能评测[J]. 葛江浩,刘磊,李小勇. 微型电脑应用. 2013(11)
[6]Hadoop副本放置策略[J]. 邵秀丽,王亚光,李云龙,刘一伟. 智能系统学报. 2013(06)
[7]分布式文件系统元数据服务器高可用性设计[J]. 战科宇,李小勇,刘海涛. 小型微型计算机系统. 2013(04)
[8]基于云存储技术的存储架构模型[J]. 员建厦. 计算机与网络. 2013(07)
[9]基于Amazon S3兼容云存储平台的媒体文件存储与访问[J]. 宋顺祥,姜莹. 信息通信技术. 2013(01)
[10]安全云存储系统与关键技术综述[J]. 傅颖勋,罗圣美,舒继武. 计算机研究与发展. 2013(01)
博士论文
[1]面向云存储副本复制的一致性关键技术研究[D]. 杨英仪.华南理工大学 2015
[2]面向大数据的异构集群存储系统副本放置与选择策略研究[D]. 熊润群.东南大学 2015
[3]多版本块备份数据管理关键技术研究[D]. 吴广君.哈尔滨工业大学 2010
硕士论文
[1]云存储环境下副本管理策略研究与实现[D]. 杜国平.北京邮电大学 2017
[2]Geo-distributed云存储服务中数据副本放置策略的研究[D]. 刘圆圆.吉林大学 2016
[3]私有云中的数据同步、备份和恢复系统的设计与实现[D]. 黄辉.电子科技大学 2016
[4]基于Openstack云存储技术的研究与实现[D]. 夏志雄.华南理工大学 2016
[5]云存储环境下副本管理策略研究[D]. 张翠苹.沈阳航空航天大学 2016
[6]基于Swift的资源负载均衡策略研究[D]. 闫晓勇.哈尔滨工业大学 2015
[7]云环境下的高效多副本管理研究[D]. 施振磊.电子科技大学 2015
[8]基于Hadoop的数据备份技术的研究与实现[D]. 李超越.北京邮电大学 2015
[9]基于OpenStack的云存储系统的研究与设计[D]. 邵珠兴.北京工业大学 2014
[10]云存储系统中数据复制关键技术研究[D]. 王义波.南京邮电大学 2014
本文编号：3467705
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/3467705.html
