面向视频云存储的HDFS负载均衡工具设计与实现

发布时间：2017-09-20 07:04

  本文关键词：面向视频云存储的HDFS负载均衡工具设计与实现

  更多相关文章： 在线视频服务 云存储 负载均衡 HDFS 带宽

【摘要】：在线视频服务是互联网服务的重要组成部分,存储是提供在线视频服务的基础。HDFS (Hadoop Distributed File System)作为面向通用文件存储的云存储系统,被很多视频服务网站使用,但其负载均衡工具未考虑利用视频文件在线播放时的带宽消耗特性来使集群的带宽资源得到更充分的利用。为解决原有负载评估模型没有考虑带宽资源的问题,论文提出基于带宽消耗预估的负载评估模型。通过对各个视频文件的码率、数据块大小和访问热度等特性的分析对各个数据节点支持在线视频播放系统时实际消耗的带宽量进行预估,以此作为数据节点负载评估模型中带宽消耗特性的评估标准,模拟实验表明该负载评估模型能够更准确地对数据节点的带宽消耗特性进行评估。为解决负载均衡方案生成过程中负载评估指标由一维上升到二维时数据节点配对不合理的问题,论文提出基于对称匹配的负载均衡方案生成方法。论文分析并提出了二维负载评估指标情况下的负载均衡目标,通过对过载、正常和低载数据节点中数据块组成情况的分析提出了二维情况下的对称匹配准则,设计了二维情况下数据节点进行配对的方法和数据移动任务生成的方法,模拟实验表明该负载均衡方案生成方法能够更有效地完成负载均衡目标中与带宽相关的部分。为避免负载调度过程中发生高带宽消耗数据块聚集的情况,论文提出基于条件选择的负载调度方法。通过对数据移动任务对应的需要被移动的数据块的大小和带宽消耗估计值的整体特性的分析,提出了按照预设条件交替进行数据块的随机性选择和确定性选择的负载调度方法,模拟实验表明该负载调度方法能够更有效地降低带宽目标均衡值。在HDFS原有负载均衡工具的基础上设计并实现了面向视频云存储的HDFS负载均衡工具,测试表明论文所述方法能够使集群中的带宽资源得到更充分的利用,在高带宽消耗视频文件作为视频服务访问热点的测试场景中,论文所述方法在90%的场景中优于原有负载均衡方法,最高能够使集群中瓶颈节点的带宽峰值降低20%。
【关键词】：在线视频服务 云存储 负载均衡 HDFS 带宽
【学位授予单位】：浙江大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP333
【目录】：

• 摘要5-6
• Abstract6-14
• 第1章 绪论14-26
• 1.1 研究背景14-16
• 1.1.1 云存储14-15
• 1.1.2 视频云存储15-16
• 1.1.3 负载均衡16
• 1.2 国内外研究现状16-22
• 1.2.1 云存储系统16-18
• 1.2.2 视频云存储系统18-20
• 1.2.3 云存储系统的负载均衡20-22
• 1.3 论文内容22-25
• 1.3.1 研究内容22-24
• 1.3.2 篇章结构24-25
• 1.4 本章小结25-26
• 第2章 基于带宽消耗预估的负载评估方法26-41
• 2.1 问题分析26-27
• 2.2 负载评估模型27-29
• 2.2.1 模型分析27-28
• 2.2.2 模型定义28-29
• 2.3 数据分析和维护29-34
• 2.3.1 架构分析29-30
• 2.3.2 视频文件属性分析30-32
• 2.3.3 数据块相关信息维护32-34
• 2.4 模拟实验34-40
• 2.4.1 低热点读取模式35-37
• 2.4.2 中热点读取模式37-38
• 2.4.3 高热点读取模式38-40
• 2.5 本章小结40-41
• 第3章 基于对称匹配的负载均衡方案生成方法41-53
• 3.1 问题分析41-43
• 3.1.1 负载均衡方案生成问题41-42
• 3.1.2 负载均衡目标42-43
• 3.2 负载均衡方案生成方法43-47
• 3.3 模拟实验47-52
• 3.3.1 均衡阈值分析47-49
• 3.3.2 存储资源均衡效果对比49-51
• 3.3.3 带宽资源均衡效果对比51-52
• 3.4 本章小结52-53
• 第4章 基于条件选择的负载调度方法53-64
• 4.1 问题分析53-54
• 4.2 调度方法54-57
• 4.3 负载均衡流程57-58
• 4.4 模拟实验58-63
• 4.4.1 均衡阈值分析58-60
• 4.4.2 存储资源均衡效果对比60-62
• 4.4.3 带宽资源均衡效果对比62-63
• 4.5 本章小结63-64
• 第5章 面向视频云存储的HDFS负载均衡工具64-82
• 5.1 系统概述64
• 5.2 功能介绍64-66
• 5.3 系统架构和功能实现66-73
• 5.3.1 架构分析66-68
• 5.3.2 模块功能设计68-70
• 5.3.3 系统类图70-72
• 5.3.4 模块间交互72-73
• 5.4 系统测试73-76
• 5.4.1 测试环境73-74
• 5.4.2 测试方法74-76
• 5.5 测试结果分析76-81
• 5.5.1 均衡目标值对比76-77
• 5.5.2 实际读取效果对比77-81
• 5.5.3 性能对比81
• 5.6 本章小结81-82
• 第6章 总结和展望82-84
• 6.1 论文工作总结82
• 6.2 未来工作展望82-84
• 参考文献84-88
• 攻读硕士学位期间主要的研究成果88-89
• 致谢89

【相似文献】

中国期刊全文数据库 前1条

1 汤临春;李心科;潘秋菱;;基于上下文的移动Web Services[J];合肥工业大学学报(自然科学版);2006年10期

中国硕士学位论文全文数据库 前1条

1 黄晓成;面向视频云存储的HDFS负载均衡工具设计与实现[D];浙江大学;2016年

，

本文编号：886586