一种云存储名字空间架构的研究与设计

发布时间：2017-05-01 01:11

  本文关键词：一种云存储名字空间架构的研究与设计，，由笔耕文化传播整理发布。

【摘要】：互联网的发展引领IT领域进入到大数据时代。在这样的背景下,海量数据呈现爆炸性增长,无论是个人还是企业,对廉价优质的海量存储空间的需求都在与日俱增。个云存储系统的名字空间架构设计好坏直接决定着一个系统的扩展能力、存储空间、服务质量和管理成本等。现有的云存储产品普遍使用构建具有集中性质的大规模数据中心来实现“云”的理念,但是在数据量过快增长的趋势下也将面对管理复杂度增加、扩展受限制、成本过高且服务质量下降等问题。 本文对目前各类经典的大规模数据存储系统的名字空间进行了深入的学习和研究,发现易管理的系统普遍存在物理或逻辑主控结构而扩展性受限的问题,而理论上扩展性良好的系统却又因为维护成本过高而实用性不强。本文通过权衡各类方案的优缺点,设计了一个可以自由伸缩、无限扩展、提供快速存储和检索文件服务的云存储架构。 为了以较低的成本充分整合互联网上的存储资源以获得可无限扩展的透明存储空间,本文的私有文件管理子层利用IPv6地址前缀自动聚类的性质将分布广泛、数目较多的存储单元聚合为独立的子域,子域之间通过一致性哈希维护。用户将文件就近存放在子域中可以获得较小的网络延时；每个独立子域之间的文件存储并行执行,可以有效提高系统吞吐量。为了对海量的私有文件管理子层中的文件提供高效索引,本文中的共享文件管理子层设计了一种分布式多维索引LSH-K-D Forest。该索引首先通过基于地址敏感哈希LSH的方法对海量数据的文件名相似度分类成Bucket,然后再对Bucket按文件属性构建多维索引进一步划分Bucket中的文件。通过上述两级的数据划分可以为每一个文件检索过滤掉大部分无关文件,大幅收敛文件检索空间,提升文件检索效率。并且,多维检索树的使用还使得共享文件管理子层支持各种海量数据高效多维检索方式。经过算法分析和实验验证,证明本文设计的名字空间架构具有一定的优势和实用性。
【关键词】：云存储 IPv6 一致性哈希 地址敏感哈希 多维检索 高扩展
【学位授予单位】：大连理工大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333
【目录】：

• 摘要4-5
• Abstract5-9
• 1 绪论9-12
• 1.1 课题背景及意义9-10
• 1.1.1 国内外研究现状9
• 1.1.2 研究意义9-10
• 1.2 本文主要工作10-11
• 1.3 本文结构11-12
• 2 相关技术研究12-22
• 2.1 大规模数据存储系统介绍12-14
• 2.1.1 Google File System12-13
• 2.1.2 Gluster File System13-14
• 2.1.3 OpenStack Swift14
• 2.2 存储的类型14-15
• 2.2.1 基于块的存储14-15
• 2.2.2 基于文件的存储15
• 2.2.3 基于对象的存储15
• 2.3 一致性哈希算法15-18
• 2.3.1 基本一致性哈希算法16-18
• 2.3.2 改进一致性哈希算法18
• 2.4 地址敏感哈希18-20
• 2.5 多维检索树20-22
• 3 EndlessStore的总体设计22-33
• 3.1 EndlessStore设计目标22-23
• 3.2 EndlessStore架构设计23-33
• 3.2.1 总体架构概述23-26
• 3.2.2 私有文件管理子层26-28
• 3.2.3 共享文件管理子层28-30
• 3.2.4 总体关系构建30-33
• 4 EndlessStore的详细设计33-49
• 4.1 数据存储管理层的实现33-37
• 4.1.1 PNN的管理33-35
• 4.1.2 数据存储关系构建35-37
• 4.2 共享文件名字空间的实现37-44
• 4.2.1 SNN的管理37-38
• 4.2.2 LSH-K-D Forest索引构建38-44
• 4.3 算法性能分析44-46
• 4.3.1 物理架构算法性能44-45
• 4.3.2 逻辑架构算法性能45-46
• 4.4 EndlessStore的读写流程46-49
• 5 实验及结果分析49-53
• 5.1 实验环境49
• 5.2 实验结果分析及系统性能49-53
• 5.2.1 存储节点聚类优化分析49-51
• 5.2.2 LSH-K-D Forest索引性能分析51-53
• 结论53-54
• 参考文献54-57
• 致谢57-58

【共引文献】

中国期刊全文数据库 前10条

1 胡波;;空间索引技术及其应用研究[J];赤峰学院学报(自然科学版);2009年11期

2 单国慧;邓伟群;华一新;庞园园;;IMPWPT运动目标时空索引的设计与实现[J];测绘科学;2011年03期

3 左小清;李清泉;;一种面向道路网3维数据的空间索引方法[J];测绘学报;2006年01期

4 阎超德,赵学胜;GIS空间索引方法述评[J];地理与地理信息科学;2004年04期

5 赵元;张新长;康停军;;多叉树蚁群算法及在区位选址中的应用研究[J];地理学报;2011年02期

6 别志铭;辛勇军;;智能配网3D监控系统[J];电气技术;2010年08期

7 李明海;陈宜金;;基于WebGIS的银行自助设备管理系统的设计和实现[J];地理空间信息;2006年05期

8 章斌全;;基于四叉树的平面矢量图对比方法优化[J];电脑开发与应用;2013年01期

9 李红;;基于Google Bigtable的海量数据存储探索[J];鞍山师范学院学报;2013年04期

10 唐宏;;基于MapReduce的大规模流量分析系统的设计[J];电信科学;2013年12期

中国重要会议论文全文数据库 前10条

1 涂丹丹;向琳;左德承;杨孝宗;;移动对象数据库管理技术[A];黑龙江省计算机学会2007年学术交流年会论文集[C];2007年

2 于利胜;张倩;王珊;张延松;;RR_tree:多维索引的关系模式实现新方法[A];第26届中国数据库学术会议论文集（A辑）[C];2009年

3 李佳佳;王波涛;陈东;喜连川优;王国仁;;分组移动对象的区域偏离监视算法[A];NDBC2010第27届中国数据库学术会议论文集A辑二[C];2010年

4 祁昊颖;;大数据时代电信运营商文件系统新思考[A];2013年中国信息通信研究新进展论文集[C];2014年

5 徐子伟;张陈斌;陈宗海;;大数据技术概述[A];系统仿真技术及其应用学术论文集（第15卷）[C];2014年

6 Xiaoguang Han;Jigang Sun;Wu Qu;Xuanxia Yao;;Distributed Malware Detection based on Binary File Features in Cloud Computing Environment[A];第26届中国控制与决策会议论文集[C];2014年

7 汪中琳;乔自知;郭景赞;;移动运维支撑系统的互联网思维重构[A];2014全国无线及移动通信学术大会论文集[C];2014年

8 郑诚;张坚盛;林淳;蔡永全;;基于NAS的企业数据存储平台研究与应用[A];2014电力行业信息化年会论文集[C];2014年

9 祁昊颖;;大数据时代电信运营商文件系统新思考[A];2013年中国信息通信研究新进展论文集[C];2014年

10 郑诚;张坚盛;林淳;蔡永全;;基于NAS的企业数据存储平台研究与应用[A];软件定义 面向未来——2014电力行业信息化年会论文集[C];2014年

中国博士学位论文全文数据库 前10条

1 许浒;时空数据库聚集查询算法研究[D];华中科技大学;2010年

2 刘润涛;基于序的空间数据索引及查询算法研究[D];哈尔滨理工大学;2009年

3 张

本文编号：337961