云存储中数据的分发与迁移机制的研究

发布时间：2017-05-18 06:07

  本文关键词：云存储中数据的分发与迁移机制的研究，由笔耕文化传播整理发布。

【摘要】：随着云时代的来临,大数据(Big data)也吸引了越来越多行业以及学术界的关注。近些年中,数据以指数级的速度增长,为了保证数据中心的对外提供服务的质量,实现更好的分布式文件存储,大多数企业在云计算(或云模型)使用特定形式的和服务来访问或存储各种资源来对外服务,动态数据迁移技术能够把访问量高的数据迁移到其他服务器中,从而有效的缓解了I/O瓶颈的问题,并且减少他们的运营成本。动态迁移技术把分散在各个物理主机中的数据进行迁移,并以各种不同的方式存储在服务器中,使得数据的存储位置具有很大的灵活性。因此,“云提供商”提供的服务,通过使用动态数据迁移技术,以实现多重目标,包括收入最大化,运营成本降低,以及绿色IT,或者保证不同地理位置的用户的服务需求。因此,最近的一些研究更侧重于如何设计或者改进动态数据迁移的算法。在大数据分析以及非结构化数据蔓延的背景下,Hadoop受到了前所未有的关注,分布式文件系统HDFS(Hadoop Distributed File System)作为其中的一个项目,作为一个分布式文件存储系统,它可以进行文件的操作,例如,创建、删除、移动或重命名等。但是HDFS的架构是基于一组特定的节点构建的,这是由它自身的特点决定的。这些节点包括NameNode(仅一个),它在HDFS内部提供元数据服务;DataNode为HDFS提供存储块。虽然Data Node会周期性地将所有存在的Block信息发送给NameNode,但是NameNode之间并不知道其他NameNode内部所存储的数据信息情况。因此,本文进一步研究的HDFS的系统架构和节点之间的关系,设计出一种高效,动态的数据迁移算法进而优化迁移性能。在本文中,研究了多个NameNode节点之间信息副本同步性和数据的动态游走的问题。首先本文提出了多个NameNode之间创建mapping-table表,把数据迁移的具体信息写入到该表中,使得数据在节点之间的一致性和动态迁移,实现了高效实时的分布式的数据迁移机制。然后,基于贝叶斯算法对“冷”数据进行合理的删除。在传统的贝叶斯定理的应用中是基于一个事件,随后计算其概率,但是在本算法中,通过对数据分析,最后基于数据访问的数量和周围主机中存在的数据数量作为数据删除的两项条件,因此,通过应用贝叶斯公式的扩展,计算出的删除概率更加的合理、科学、准确。同时通过使用得出的概率,对此进行概率从高到低的排列,对“冷”数据进行删除。
【关键词】：数据迁移 大数据 分布式文件存储 贝叶斯公式的推广
【学位授予单位】：长春工业大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP333
【目录】：

• 摘要3-4
• Abstract4-7
• 第一章 绪论7-12
• 1.1 课题研究背景及意义7-8
• 1.1.1 课题研究背景7
• 1.1.2 课题研究意义7-8
• 1.2 课题的创新性成果8-10
• 1.3 课题研究内容的结构10
• 1.4 论文章节安排10-12
• 第二章 数据迁移技术概述12-18
• 2.1 数据迁移的意义12-13
• 2.2 数据迁移的现状13-15
• 2.3 数据迁移的方法15
• 2.4 数据迁移的分类15-18
• 2.4.1 数据库迁移15-16
• 2.4.2 虚拟机迁移16-18
• 第三章 数据迁移相关技术分析18-24
• 3.1 数据存储技术18-19
• 3.1.1 表格存储（Table Store）18
• 3.1.2 FastDFS18-19
• 3.1.3 Spectrum Storage19
• 3.2 HDFS系统的分析19-22
• 3.2.1 HDFS体系架构19-20
• 3.2.2 HDFS运行机制20-22
• 3.3 服务质量（QOS）22-24
• 3.3.1 QOS的意义22-23
• 3.3.2 QOS的模型23-24
• 第四章 数据迁移系统（DDI）的设计与实现24-35
• 4.1 DDI算法的系统架构24
• 4.2 DDI算法的形式化24-26
• 4.3 DDI算法的实现步骤26-28
• 4.4 DDI算法伪代码的实现28-29
• 4.5 Mapping-table表的设计29-32
• 4.6 贝叶斯定理的推广32-35
• 第五章 算法性能测试35-39
• 5.1 实验环境35
• 5.2 算法性能分析与测试35-38
• 5.2.1 数据删除的合理性36
• 5.2.2 内存的消耗36-37
• 5.2.3 数据传输的吞吐量37-38
• 5.3 实验总结38-39
• 第六章 本文的总结39-40
• 致谢40-41
• 参考文献41-45
• 作者简介45
• 攻读硕士学位期间研究成果45

【相似文献】

中国期刊全文数据库 前10条

1 王春靖;FAT32的优点[J];电脑爱好者;1998年03期

2 何文才;郑钊;刘培鹤;杜敏;;一种基于目录数据分离存储的文件存储方法的研究与实现[J];网络安全技术与应用;2014年01期

3 飞雪散花;;手机文件存储看我的[J];电脑迷;2012年05期

4 孙有军;张大兴;;海量图片文件存储去重技术研究[J];计算机应用与软件;2014年04期

5 ;金刚指——计算机文件存储的保护神[J];信息安全与通信保密;2001年12期

6 赵跃龙;谢晓玲;蔡咏才;王国华;刘霖;;一种性能优化的小文件存储访问策略的研究[J];计算机研究与发展;2012年07期

7 周国安;李强;陈新;胡旭;;云环境下海量小文件存储技术研究综述[J];信息网络安全;2014年06期

8 张美芳;电子文件存储方式的研究[J];数字与缩微影像;2005年02期

9 陶慧;于守谦;刘夏;;适于测控系统的文件存储结构研究[J];计算机应用与软件;2010年11期

10 方勇;史跃辉;;浅谈减少地形图电子文件存储冗余的几种方法[J];江西测绘;2006年02期

中国重要会议论文全文数据库 前6条

1 任勇;朱立谷;张雷;彭建峰;;新型虚拟文件存储系统的设计[A];第15届全国信息存储技术学术会议论文集[C];2008年

2 李浩;;基于制播分离的文件存储和传输方式的探讨[A];中国新闻技术工作者联合会五届二次理事会暨学术年会论文集（上篇）[C];2010年

3 陈海波;侯建卫;;针对海量详单快速存储检索的实现方法[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年

4 陈海波;侯建卫;;针对海量详单快速存储检索的实现方法[A];2011全国无线及移动通信学术大会论文集[C];2011年

5 袁旦;张智君;;预览时间对颜色判断任务下客体文件存储的影响[A];第十一届全国心理学学术会议论文摘要集[C];2007年

6 黄步根;黄政;刘建军;;SANYO数码相机中被删除视频的恢复[A];第26次全国计算机安全学术交流会论文集[C];2011年

中国重要报纸全文数据库 前9条

1 本报记者 郭平;Isilon扩充文件存储产品线[N];计算机世界;2009年

2 本报记者 郭平;容量与性能 一样都不能少[N];计算机世界;2010年

3 张峰;统一存储 业务连续[N];网络世界;2006年

4 清水　编译;基于文件存储大行其道[N];计算机世界;2011年

5 本报记者 郭涛;HCP Anywhere：为HDS内容云锦上添花[N];中国计算机报;2013年

6 于翔;让IT如业务般运营的应用路径[N];网络世界;2009年

7 刘一冰;IBM SoNAS专攻高端存储客户[N];电脑商报;2010年

8 清水　编译;云存储：机遇下暗藏挑战[N];计算机世界;2010年

9 沈建苗;互联网存储 你信得过吗[N];计算机世界;2007年

中国硕士学位论文全文数据库 前10条

1 廖家赵;面向城轨线网的海量小文件存储方法的研究与实现[D];华南理工大学;2015年

2 李长平;基于FastDFS架构的小文件存储系统的设计与实现[D];哈尔滨工业大学;2015年

3 叶道平;基于HADOOP的海量录音文件存储系统的设计与实现[D];电子科技大学;2014年

4 张振猛;基于Hadoop的海量文件存储系统的分析与设计[D];北京工业大学;2015年

5 何高峰;基于HDFS的多租户小文件存储系统的研究与设计[D];浙江大学;2016年

6 武奇;云存储中数据的分发与迁移机制的研究[D];长春工业大学;2016年

7 宫海林;支持事务的文件存储技术研究与系统实现[D];国防科学技术大学;2006年

8 曹挹芬;分布式文件存储与检索平台的设计与实现[D];湖南大学;2009年

9 黄斌;并行文件存储系统关键技术的研究[D];华南理工大学;2012年

10 蒋浩;分布式文件存储系统副本管理方法研究[D];浙江大学;2013年

  本文关键词：云存储中数据的分发与迁移机制的研究，由笔耕文化传播整理发布。

，

本文编号：375246