基于HDFS的分布式存储中负载均衡技术研究

发布时间：2017-10-22 09:08

  本文关键词：基于HDFS的分布式存储中负载均衡技术研究

  更多相关文章： 分布式存储 HDFS 负载均衡 资源调度

【摘要】：在线教育模式的改变,导致了用户量的急速增长和视频资源的迅速增加,给存储以及系统的整体性能带来了考验。如何合理的进行数据的存储以及高效的给用户返回所需的数据成为了问题的关键。分布式技术作为当前的热门技术为以上问题提供了解决方案。其中的负载均衡算法是影响系统性能的关键算法。在对比分析了各种负载均衡算法之后,本课题将对其进行一些改进并最终设计并实现一个高效的分布式视频存储系统。首先本课题针对处理视频文件需要计算机各方面性能充分配合的特性,设计了一种基于多指标的节点负载情况评价方程,并基于节点实时工作情况和该方程设计一个负载均衡算法,将能够在视频处理过程中起到作用的系统性能指标都经过量化后加进算法。通过实验表明,引入新的负载均衡算法后,能够较大的提升分布式存储系统的整体资源利用率,使系统各个节点达到更完美的均衡,并且同时能够保证用户端请求服务的质量。除此之外,本课题还针对视频文件如果经常大规模转移会带来系统性能严重下降的问题,对其原有的延迟调度策略针对处理视频文件的特殊场景进行了一些改进,使其可以动态的调整等待时间。通过实验表明,经过改进后无论是系统整体性能还是作业的平均响应时间方面都有了较大的提升。最终本课题设计并实现了一个基于Hadoop的分布式存储系统,并且系统针对视频文件的特性进行了改进,具有以下特点:1)在上传视频文件时,系统会根据节点实时的负载情况选择最优的节点来存储数据,并且避免了节点的负载均衡操作对用户请求服务质量的影响。2)在用户请求视频文件时,系统会尽量保证数据的本地性服务,提高了系统的整体性能,同时又兼顾了用户请求的响应速度,保证了服务的质量。
【关键词】：分布式存储 HDFS 负载均衡 资源调度
【学位授予单位】：哈尔滨工业大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP333
【目录】：

• 摘要4-5
• ABSTRACT5-8
• 第1章 绪论8-14
• 1.1 课题来源8
• 1.2 课题研究背景及意义8-9
• 1.3 国内外研究现状9-12
• 1.3.1 分布式存储的研究现状9-11
• 1.3.2 负载均衡技术研究现状11-12
• 1.4 论文主要研究工作和结构12-14
• 第2章 HDFS及负载均衡技术研究14-22
• 2.1 引言14
• 2.2 HDFS的整体介绍14-18
• 2.2.1 HDFS技术特征14-15
• 2.2.2 HDFS系统架构15-16
• 2.2.3 HDFS读写机制分析16-18
• 2.3 负载均衡算法研究与分析18-21
• 2.3.1 负载均衡算法研究18
• 2.3.2 负载均衡算法分类18-19
• 2.3.3 常用负载均衡算法及其分析19-21
• 2.4 本章小结21-22
• 第3章 负载均衡算法设计与实现22-41
• 3.1 引言22
• 3.2 基于网络带宽的负载均衡算法22-29
• 3.2.1 节点负载评价方程的设计22-26
• 3.2.2 基于网络带宽的负载均衡算法设计26-27
• 3.2.3 算法对比实验27-29
• 3.3 基于延迟调度的负载均衡算法29-39
• 3.3.1 调度策略优劣分析29-30
• 3.3.2 基于延迟调度的负载均衡算法设计30-34
• 3.3.3 算法对比实验34-39
• 3.4 本章小结39-41
• 第4章 基于HDFS的分布式存储系统设计41-55
• 4.1 引言41
• 4.2 系统的总体设计41-43
• 4.2.1 系统架构以及层次结构设计41-43
• 4.2.2 系统的环境搭建43
• 4.3 系统的详细设计与实现43-51
• 4.3.1 系统功能的设计与实现43-48
• 4.3.2 负载均衡模块的实现48-51
• 4.4 系统性能测试51-54
• 4.4.1 实验环境51-52
• 4.4.2 性能测试结果分析52-54
• 4.5 本章总结54-55
• 结论55-57
• 参考文献57-61
• 致谢61

，

本文编号：1077667