负载调度算法和数据校验法在CDN系统中的应用研究

发布时间：2017-10-23 10:46

  本文关键词：负载调度算法和数据校验法在CDN系统中的应用研究

  更多相关文章： CDN 负载均衡 数据校验 调度节点 磁盘阵列

【摘要】：随着Internet的高速发展，宽带业务在人们的生活中越来越被重视，大量并发重复的业务对网络造成了不必要的冲击，由于单节点处理请求量会受到很大的限制，所以采用文件分发的多节点存储才能促使系统的稳定，提高系统的负载能力；同时由于中国存在南北互联的问题，所以将用户请求分发到同一网络、就近的节点处理，可以极大地提高处理速度，降低了网络拥塞的可能性。CDN（ContentDelivery Network）将内容推到网络的边缘，为用户提供就近服务，从而保证服务的质量和整个网络上的访问秩序，解决了困扰内容提供商的内容“集中与分散”的两难选择。 在此背景下，CDN的作用将越来越重要，本文首先对现有的CDN系统以及其核心模块以及设计方式进行分析研究。首先，对集群技术的调度算法进行了研究分析，特别提出了加权最少连接调度算法的劣势，针对该劣势对该算法进行了改进，引入了服务器过去一分钟内的平均负载因子，提出了加法公式和乘法公式，实现了很好的调度效果。 其次，由于经常会出现我们要访问的资源和服务器回复的资源不尽相同的情况，，也就是说资源在传输的过程被第三方劫持，并在其中植入广告或者病毒，甚至是篡改了整个资源内容。为了确保资源的传输安全，本文引入了MD5数据校验法，接收到资源后会执行MD5运算，从而验证资源是否完整。 再次，在“边缘节点”的设计上，本文采用了磁盘阵列创建RAID6的形式来保存本地资源，由于RAID6具有两块冗余盘，并且数据信息的校验码是分布在每一块成员盘上，大大提高了资源保存的安全性。 最后，通过实验，验证改进的调度算法的调度效果，以及MD5数据校验法和磁盘阵列在本系统中的应用效果，并与其他类似的经典算法进行比较，发现改进的调度算法的优势和不足之处。
【关键词】：CDN 负载均衡 数据校验 调度节点 磁盘阵列
【学位授予单位】：北京工业大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP311.52
【目录】：

• 摘要4-5
• Abstract5-8
• 第1章 绪论8-12
• 1.1 课题背景及意义8-9
• 1.2 国内外研究现状9-10
• 1.3 论文研究内容及目标10-11
• 1.4 论文组织结构11-12
• 第2章 CDN 系统中 Lvs 集群技术负载均衡调度算法分析12-22
• 2.1 轮叫调度算法分析12-13
• 2.2 加权轮叫调度算法分析13-16
• 2.3 最少连接调度算法分析16-18
• 2.4 加权最少连接调度算法分析18-20
• 2.5 现有负载均衡算法比较分析20
• 2.6 本章小结20-22
• 第3章 改进加权最少连接调度算法22-32
• 3.1 基于负载因子对加权最少连接调度算法的改进22-23
• 3.2 改进算法的验证23-31
• 3.3 本章小结31-32
• 第4章 数据校验法和 CDN 系统相关技术32-54
• 4.1 CDN 系统的需求分析32-37
• 4.2 数据校验37-46
• 4.2.1 BCC 异或校验法37-38
• 4.2.2 CRC 循环冗余校验38
• 4.2.3 MD5 数据校验38-39
• 4.2.4 MD5 的应用39-46
• 4.3 CDN 详细设计46-53
• 4.3.1 系统设计46-47
• 4.3.2 “源站”的设计47-48
• 4.3.3 “调度节点”设计48-51
• 4.3.4 “边缘节点”设计51-53
• 4.4 本章小结53-54
• 第5章 CDN 的实现及改进算法效果分析54-76
• 5.1 实验软件和多机环境的搭建54-62
• 5.1.1 开发运行软件54
• 5.1.2 多机环境的构建54-62
• 5.2 服务器内容的可靠性实现62-67
• 5.2.1 RAID 磁盘阵列的实现62-65
• 5.2.2 磁盘阵列测试65-67
• 5.3 服务器参数相同的实验效果67-70
• 5.4 服务器参数不同的实验效果70-72
• 5.5 改进 CDN 系统的应用效果分析72-74
• 5.5.1 与现有 CDN 系统比较72-73
• 5.5.2 本文 CDN 系统优势73-74
• 5.5.3 本文 CDN 系统的不足74
• 5.6 本章小结74-76
• 结论76-78
• 参考文献78-82
• 攻读硕士学位期间取得的研究成果82-84
• 致谢84

【参考文献】

中国期刊全文数据库 前4条

1 本刊编辑x022;;服务器集群负载均衡区别以及选型[J];计算机与网络;2013年24期

2 张玉洁;何明;孟祥武;;基于用户需求的内容分发点对点网络系统研究[J];软件学报;2014年01期

3 高源;;RAID技术在Linux系统中的研究与实现[J];无线互联科技;2014年01期

4 车欣悦;;关于内容分发网络(CDN)的一些思考[J];有线电视技术;2012年08期

本文编号：1083005