分布式存储数据布局优化理论与方法研究
发布时间：2020-12-06 07:58
计算、传输和存储是信息基础设施的三大基石。随着计算机和互联网技术的发展,信息系统的核心已经从计算转向数据,数据不再仅仅是处理对象,更是一种重要的基础资源。在大数据时代,面对种类繁多的复杂数据密集型应用,管理海量的分布式数据资源成为重要的挑战和需求。分布式数据存储的出现为分布式数据管理带来了契机,也面临着诸多问题,尤其是数据布局对系统访问性能产生的显著影响。研究分布式数据存储中的数据布局优化问题,对提高分布式存储的访问性能和可用性,具有重要的理论价值和现实意义。立足于分布式数据存储中的分布式数据管理技术以及当前现状,本文从数据布局的角度出发,研究数据密集型应用中的数据布局优化理论与方法,改善和提高分布式存储系统的访问性能与可用性,加快数据密集型应用的执行和响应时间,向用户提供快速、可靠的数据服务。本文主要研究内容如下：(1)提出分布式数据存储的系统化数据布局优化理论模型通过对分布式数据存储中数据布局的需求分析,研究在数据密集型应用环境下影响系统访问性能的关键因素,以及数据对象、应用计算、数据中心彼此之间的关联。通过研究数据布局优化与访问性能之间的关系,提出一个适用于分布式数据存储的系统化...
【文章来源】：武汉大学湖北省 211工程院校 985工程院校 教育部直属院校
【文章页数】：132 页
【学位级别】：博士
【部分图文】：
图２－２?Ｆａｃ化ｏｏｋ?Ｈ巧ｓｔａｃｋ的系绕架构??（２）分布式键值系统??
库的底层存储，如Ｇｏｏｇｌｅ的Ｇｏｏｇｌｅ?Ｆｉｌｅ?Ｓｙｓｔｅｍ?（ＧＦＳ）作为分布式表格系统??Ｇｏｏｇｌｅ?Ｂｉｇｔａｂｌｅ?的底层存储［＂］，Ａｍａｚｏ打的?Ｅｌａｓｔｉｃ?Ｂｌｏｃｋ?Ｓｌ：ｏｉ＊ｅ?（ＥＢＳ）作为分布式??数据库Ａｍａｚｏｎ?ＲＤＳ的底层存储［１９］。如图２－２为Ｆａｃｅｂｏｏｋ?Ｈａｙｓｔａｃｋ的系统架构。??Ｈａｙｓｔａｃｋ?存储??巧，：兰違玄ｒ辭??１?４?Ｉ！?６｜?｜９??ｆ浏览器１?＜?５?（?ＣＤＮ?］??、???／?１０?＾?心??图２－２?Ｆａｃ化ｏｏｋ?Ｈ巧ｓｔａｃｋ的系绕架构??（２）分布式键值系统??分布式键值系统常用来存储简单关系型半结构化数据，只提供基于主键的??ＣＲＵＤ?（灯ｅａｔ／Ｒｅａｄ／Ｕｐｄａｔｅ／ＤｅＩｅｔ；ｅ?）。典型的系统有?Ａｍａｚｏｎ?Ｄｙｎａｍｏ口０］?及??Ｔａｏｂａｏ?ＴａｉｒＰｉ］，从数据结构的角度看，分布式键值系统与哈希表类似，然而不??同的是分布式键值系统支持将数据分不到集群中的多个存储节点。分布式键值??系统是分布式表格系统的一种简化形式，一般用作缓存，例如ＭｅｍｃａｃｈｅＰ２Ｌ??如图２－３为Ｔａｏｂａｏ?Ｔａｉｒ的系统架构。??皆Ｉ?ｓ＇?＾?ｊ客户端??ｉ?主服务器?Ｄａｔａ?Ｓｅｒｖｅｒ??！切Ｉ?ｗ?Ｗ?Ｗ?Ｗ??Ｉ备服务器＾?１?Ｉ??ｉ?＾＜＾３＾?ｊ?Ｃｏｎｆｉｇ?Ｓｅｒｖｅｒ??图２－３?Ｔａｏｂａｏ?Ｔａｉｒ的系统架构??第１３页??
还有一些常见的分布式存储系统，例如Ｐ２Ｐ存储系统ＰＳＩ，将存储节??点对等方式组成网络存储系统，支持分布式控制，具有高扩展、窩容错性，??不存在单点性能瓶颈，容易实现大规模存储服务。如图２－６为典型的Ｐ２Ｐ存储??系统Ｃｈｏｒｄ系统架构。??Ｎ１??Ｎ５６?＂ＸＸ?Ｎ８??Ｗ?１／??Ｎ３８?＾２１??Ｎ３２??图２－６?Ｐ２Ｐ存储系统Ｃｈｏｒｄ的系绕架构??数据网格（Ｄａｔａ?Ｇｒｉｄ）?ＰＳｌ是网格定义的延伸和扩展，为分布式存储和计算??单元提供一种融合架构，由众多地理上分散的计算、存储和网络资源组成支持??数据共享和管理。数据网格非常适用于数据密集型应用领域，例如科学计算［３４］、??高能物理［３５］等。如图２－７数据网格的系统架构。??Ｃｌｕｓｔｅｒ?Ａ?八？＾?Ｃｌｕｓ化ｒＢ?产?、??Ｃｌｉｅｎｔ?＾?１?Ｗｏｒｋｓｔａｔｉｏｎ??Ａ＾ｏｒｋｓｔａｔｉｏｎ????［?Ｉｎｔｅｒｎｅｔ?）????Ｃｌｕｓｔｅｒ?Ｃ?尸?Ｃｉｗｔｅｒ?Ｄ?？?．??Ｃｌｉｅｎｔ?口‘。＂??Ｗｏｒｋｓｔａｔｉｏｎ?Ｗｏｒｋｓｔａｔｉｏｎ??图２－７数据网格的系统架构??总之，分布式存储系统作为分布式数据存储的底层设施，承担着数据存储??与处理，计算任务的执行等，是整个分布式数据存储的＂骨架＂。??２．２．２分布式存储技术??第１５页??
【参考文献】：
期刊论文
[1]OceanBase关系数据库架构[J]. 阳振坤. 华东师范大学学报(自然科学版). 2014(05)
[2]大数据管理:概念、技术与挑战[J]. 孟小峰,慈祥. 计算机研究与发展. 2013(01)
[3]分级存储系统中一种数据自动迁移方法[J]. 张广艳,丘建平. 计算机研究与发展. 2012(08)
[4]一种性能优化的小文件存储访问策略的研究[J]. 赵跃龙,谢晓玲,蔡咏才,王国华,刘霖. 计算机研究与发展. 2012(07)
[5]曙光星云分布式文件系统:海量小文件存取[J]. 马灿,孟丹,熊劲. 小型微型计算机系统. 2012(07)
[6]云计算和云数据管理技术[J]. 刘正伟,文中领,张海涛. 计算机研究与发展. 2012(S1)
[7]云计算:体系架构与关键技术[J]. 罗军舟,金嘉晖,宋爱波,东方. 通信学报. 2011(07)
[8]基于虚拟机迁移的虚拟机集群资源调度[J]. 周文煜,陈华平,杨寿保,方君. 华中科技大学学报(自然科学版). 2011(S1)
[9]一种海量数据分级存储系统TH-TS[J]. 敖莉,于得水,舒继武,薛巍. 计算机研究与发展. 2011(06)
[10]一种提高云存储中小文件存储效率的方案[J]. 余思,桂小林,黄汝维,庄威. 西安交通大学学报. 2011(06)
博士论文
[1]分布式存储系统中基于纠删码的容错技术研究[D]. 朱云锋.中国科学技术大学 2014
[2]大规模分布式存储系统中数据冗余技术研究[D]. 黄震.国防科学技术大学 2012
[3]大规模分布式存储技术研究[D]. 魏青松.电子科技大学 2004
本文编号：2901012
【文章来源】：武汉大学湖北省 211工程院校 985工程院校 教育部直属院校
【文章页数】：132 页
【学位级别】：博士
【部分图文】：
图２－２?Ｆａｃ化ｏｏｋ?Ｈ巧ｓｔａｃｋ的系绕架构??（２）分布式键值系统??
库的底层存储，如Ｇｏｏｇｌｅ的Ｇｏｏｇｌｅ?Ｆｉｌｅ?Ｓｙｓｔｅｍ?（ＧＦＳ）作为分布式表格系统??Ｇｏｏｇｌｅ?Ｂｉｇｔａｂｌｅ?的底层存储［＂］，Ａｍａｚｏ打的?Ｅｌａｓｔｉｃ?Ｂｌｏｃｋ?Ｓｌ：ｏｉ＊ｅ?（ＥＢＳ）作为分布式??数据库Ａｍａｚｏｎ?ＲＤＳ的底层存储［１９］。如图２－２为Ｆａｃｅｂｏｏｋ?Ｈａｙｓｔａｃｋ的系统架构。??Ｈａｙｓｔａｃｋ?存储??巧，：兰違玄ｒ辭??１?４?Ｉ！?６｜?｜９??ｆ浏览器１?＜?５?（?ＣＤＮ?］??、???／?１０?＾?心??图２－２?Ｆａｃ化ｏｏｋ?Ｈ巧ｓｔａｃｋ的系绕架构??（２）分布式键值系统??分布式键值系统常用来存储简单关系型半结构化数据，只提供基于主键的??ＣＲＵＤ?（灯ｅａｔ／Ｒｅａｄ／Ｕｐｄａｔｅ／ＤｅＩｅｔ；ｅ?）。典型的系统有?Ａｍａｚｏｎ?Ｄｙｎａｍｏ口０］?及??Ｔａｏｂａｏ?ＴａｉｒＰｉ］，从数据结构的角度看，分布式键值系统与哈希表类似，然而不??同的是分布式键值系统支持将数据分不到集群中的多个存储节点。分布式键值??系统是分布式表格系统的一种简化形式，一般用作缓存，例如ＭｅｍｃａｃｈｅＰ２Ｌ??如图２－３为Ｔａｏｂａｏ?Ｔａｉｒ的系统架构。??皆Ｉ?ｓ＇?＾?ｊ客户端??ｉ?主服务器?Ｄａｔａ?Ｓｅｒｖｅｒ??！切Ｉ?ｗ?Ｗ?Ｗ?Ｗ??Ｉ备服务器＾?１?Ｉ??ｉ?＾＜＾３＾?ｊ?Ｃｏｎｆｉｇ?Ｓｅｒｖｅｒ??图２－３?Ｔａｏｂａｏ?Ｔａｉｒ的系统架构??第１３页??
还有一些常见的分布式存储系统，例如Ｐ２Ｐ存储系统ＰＳＩ，将存储节??点对等方式组成网络存储系统，支持分布式控制，具有高扩展、窩容错性，??不存在单点性能瓶颈，容易实现大规模存储服务。如图２－６为典型的Ｐ２Ｐ存储??系统Ｃｈｏｒｄ系统架构。??Ｎ１??Ｎ５６?＂ＸＸ?Ｎ８??Ｗ?１／??Ｎ３８?＾２１??Ｎ３２??图２－６?Ｐ２Ｐ存储系统Ｃｈｏｒｄ的系绕架构??数据网格（Ｄａｔａ?Ｇｒｉｄ）?ＰＳｌ是网格定义的延伸和扩展，为分布式存储和计算??单元提供一种融合架构，由众多地理上分散的计算、存储和网络资源组成支持??数据共享和管理。数据网格非常适用于数据密集型应用领域，例如科学计算［３４］、??高能物理［３５］等。如图２－７数据网格的系统架构。??Ｃｌｕｓｔｅｒ?Ａ?八？＾?Ｃｌｕｓ化ｒＢ?产?、??Ｃｌｉｅｎｔ?＾?１?Ｗｏｒｋｓｔａｔｉｏｎ??Ａ＾ｏｒｋｓｔａｔｉｏｎ????［?Ｉｎｔｅｒｎｅｔ?）????Ｃｌｕｓｔｅｒ?Ｃ?尸?Ｃｉｗｔｅｒ?Ｄ?？?．??Ｃｌｉｅｎｔ?口‘。＂??Ｗｏｒｋｓｔａｔｉｏｎ?Ｗｏｒｋｓｔａｔｉｏｎ??图２－７数据网格的系统架构??总之，分布式存储系统作为分布式数据存储的底层设施，承担着数据存储??与处理，计算任务的执行等，是整个分布式数据存储的＂骨架＂。??２．２．２分布式存储技术??第１５页??
【参考文献】：
期刊论文
[1]OceanBase关系数据库架构[J]. 阳振坤. 华东师范大学学报(自然科学版). 2014(05)
[2]大数据管理:概念、技术与挑战[J]. 孟小峰,慈祥. 计算机研究与发展. 2013(01)
[3]分级存储系统中一种数据自动迁移方法[J]. 张广艳,丘建平. 计算机研究与发展. 2012(08)
[4]一种性能优化的小文件存储访问策略的研究[J]. 赵跃龙,谢晓玲,蔡咏才,王国华,刘霖. 计算机研究与发展. 2012(07)
[5]曙光星云分布式文件系统:海量小文件存取[J]. 马灿,孟丹,熊劲. 小型微型计算机系统. 2012(07)
[6]云计算和云数据管理技术[J]. 刘正伟,文中领,张海涛. 计算机研究与发展. 2012(S1)
[7]云计算:体系架构与关键技术[J]. 罗军舟,金嘉晖,宋爱波,东方. 通信学报. 2011(07)
[8]基于虚拟机迁移的虚拟机集群资源调度[J]. 周文煜,陈华平,杨寿保,方君. 华中科技大学学报(自然科学版). 2011(S1)
[9]一种海量数据分级存储系统TH-TS[J]. 敖莉,于得水,舒继武,薛巍. 计算机研究与发展. 2011(06)
[10]一种提高云存储中小文件存储效率的方案[J]. 余思,桂小林,黄汝维,庄威. 西安交通大学学报. 2011(06)
博士论文
[1]分布式存储系统中基于纠删码的容错技术研究[D]. 朱云锋.中国科学技术大学 2014
[2]大规模分布式存储系统中数据冗余技术研究[D]. 黄震.国防科学技术大学 2012
[3]大规模分布式存储技术研究[D]. 魏青松.电子科技大学 2004
本文编号：2901012
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/2901012.html
