针对地域敏感性数据的云存储技术研究

发布时间：2017-05-02 22:01

  本文关键词：针对地域敏感性数据的云存储技术研究，，由笔耕文化传播整理发布。

【摘要】：随着互联网的快速发展,数据规模的不断扩大,云存储以其优异的性能和可靠性得到了广泛的应用和研究。云存储技术日趋成熟,能够充分利用廉价的低端配置主机,通过虚拟化技术整合成具有强大计算和存储能力的计算机集群。但是随着互联网数据规模的进一步扩大,以及互联网应用的不断细分,云存储系统性能还有很大的提高空间。如何优化现有云存储系统使之适应不同类型互联网应用、进一步提高云存储系统性能逐渐成为云存储研究领域的重点之一。 基于地域敏感性数据的互联网应用近年来得到了快速发展,这类互联网应用的数据具有明显的地域特性,访问用户相对集中,因此如何利用这一特性进一步优化云存储系统的性能是一个值得研究的课题。本文主要围绕地域敏感性数据的存储技术进行研究,主要工作包括： 1、对现有云存储技术和平台进行了的研究与分析,重点分析了HDFS的基础架构、文件读写机制和关键技术等。 2、基于地域敏感性数据的特点,分析了现有HDFS存储架构存在的问题,优化了HDFS的基础架构。通过在原有HDFS架构的基础上加入缓存节点,并设定缓存节点部署在靠近用户的网域内,尽可能让用户直接从缓存节点读写数据,以降低文件读写操作的网络传输代价。 3、优化了HDFS负载均衡策略。提出了一种基于确定环境下多阶段多目标(Certainty, Multi-stage and Multi-object, CMM)决策模型的负载均衡策略。CMM决策模型是以CPU、内存和磁盘的剩余负载能力作为决策前提条件,以负载均衡效果、负载迁移代价和数据传输代价作为决策目标,并根据本文设计的若干决策节点和决策节点之间的影响关系构建的一个有向无环图。该模型将负载均衡方案的决策过程分为多个决策阶段,通过多个决策阶段的决策确定一个备选负载均衡方案集合,最后根据决策目标评价值及权重计算各负载均衡方案的效用,据此选择出最优负载均衡方案。 4、优化了HDFS数据放置策略。本文的HDFS数据放置策略由两个部分组成。第一,在数据块写入系统时的节点选择策略,用于替换HDFS原有的数据放置策略。该策略是基于差别概率的思想,根据不同剩余负载能力为数据节点分配不同的选中概率,以此更公平地为数据节点分配工作负载。第二,缓存管理策略,用于管理缓存节点上数据块。在缓存节点有足够负载能力时,将相应的热门数据块备份到缓存节点上；同时定期清理缓存节点上非热门数据块。 5、进行仿真实验并分析仿真结果。为了验证本文提出的云存储技术方案,本文在cloudsim云仿真平台的基础上开发了仿真系统并进行了仿真实验。结果表明,文本提出的云存储技术更适合地域敏感性数据的存储,在数据的读写速度方面和负载均衡效果等方面具有明显优势。
【关键词】：地域敏感性数据 云存储 HDFS 负载均衡 数据放置
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP333
【目录】：

• 摘要4-6
• ABSTRACT6-10
• 第一章 前言10-14
• 1.1 研究背景及意义10-12
• 1.2 课题研究内容12
• 1.3 论文组织结构12-14
• 第二章 HDFS技术研究14-21
• 2.1 HDFS体系架构14-16
• 2.1.1 基本概念14-15
• 2.1.2 体系架构15-16
• 2.2 HDFS文件读写流程16-18
• 2.2.1 文件读取流程16
• 2.2.2 文件写入流程16-18
• 2.3 HDFS数据放置策略18
• 2.4 HDFS负载均衡策略18-20
• 2.5 本章小结20-21
• 第三章 针对地域敏感性数据的云存储架构研究21-28
• 3.1 问题的描述21
• 3.2 方案的思路21-22
• 3.3 针对地域敏感性数据的HDFS架构设计22-23
• 3.4 名称节点改进23-24
• 3.5 数据地域特征表示24-26
• 3.5.1 热度值表示25-26
• 3.6 剩余负载能力表示26-27
• 3.7 本章小结27-28
• 第四章 地域敏感的数据放置策略28-34
• 4.1 默认数据放置策略存在的问题28
• 4.2 本文数据放置策略工作场景28-29
• 4.3 数据块写入节点选择策略29-32
• 4.3.1 数据节点选择29-31
• 4.3.2 缓存节点选择31-32
• 4.4 缓存管理策略32-33
• 4.5 本章小结33-34
• 第五章 地域敏感的负载均衡策略34-44
• 5.1 默认负载均衡策略存在的问题34-35
• 5.2 实现目标35
• 5.3 负载均衡策略思路35-36
• 5.4 CMM模型的建立36-41
• 5.4.1 决策节点和决策方案的定义36-37
• 5.4.2 决策节点设计37-39
• 5.4.3 模型建立39-40
• 5.4.4 算法描述40-41
• 5.5 模型求解41-43
• 5.5.1 剩余负载能力方差求解41-42
• 5.5.2 迁移时间求解42
• 5.5.3 ADBUD 求解42-43
• 5.5.4 负载均衡方案确定43
• 5.6 本章小结43-44
• 第六章 仿真实验与结果分析44-50
• 6.1 仿真环境44
• 6.2 实验方法44-45
• 6.3 实验结果分析45-49
• 6.3.1 读写文件速度仿真结果分析45-46
• 6.3.2 负载均衡策略仿真结果分析46-48
• 6.3.3 数据放置策略仿真结果分析48-49
• 6.4 本章小结49-50
• 第七章 总结与展望50-52
• 第八章 参考文献52-56
• 缩略语56-57
• 致谢57-58
• 攻读学位期间发表的学术论文和申请的发明专利58

【参考文献】

中国期刊全文数据库 前10条

1 林伟伟;;一种改进的Hadoop数据放置策略[J];华南理工大学学报(自然科学版);2012年01期

2 董继光;陈卫卫;吴海佳;田浪军;;基于动态副本技术的云存储负载均衡研究[J];计算机应用研究;2012年09期

3 林伟伟;刘波;;基于动态带宽分配的Hadoop数据负载均衡方法[J];华南理工大学学报(自然科学版);2012年09期

4 张桂刚;李超;张勇;邢春晓;;一种基于海量信息处理的云存储模型研究[J];计算机研究与发展;2012年S1期

5 侯建;帅仁俊;侯文;;基于云计算的海量数据存储模型[J];通信技术;2011年05期

6 颜秉珩;钱德沛;;一种支持负载均衡的存储调度算法[J];西安交通大学学报;2009年10期

7 戴文战,邹立华,汪建章,朱金刚,周融;一种基于奖优罚劣原则的多阶段多目标决策模型[J];系统工程理论与实践;2000年06期

8 蔡志强;孙树栋;司书宾;王宁;;不确定环境下多阶段多目标决策模型[J];系统工程理论与实践;2010年09期

9 刘琨;肖琳;赵海燕;;Hadoop中云数据负载均衡算法的研究及优化[J];微电子学与计算机;2012年09期

10 王永洲;茅苏;;HDFS中的一种数据放置策略[J];计算机技术与发展;2013年05期

  本文关键词：针对地域敏感性数据的云存储技术研究，由笔耕文化传播整理发布。

本文编号：341733