CDN海量日志实时分析问题研究与平台开发
发布时间：2021-05-12 16:18
CDN全称为Content Delivery Network,中文为内容分发网络,诞生于20世纪90年代,由众多节点服务器和全局智能负载均衡系统组成,用于解决网络拥塞问题,为网络访问提供加速服务,是构建互联网的重要基础设施。CDN节点服务器日志中记录了加速服务请求信息与响应信息。通过对CDN节点服务器日志进行实时分析,挖掘出日志中包含的信息与价值,对CDN加速服务的核心指标进行实时检测与监控,为加速服务质量提升策略提供重要且可靠的数据支持。由于CDN是一个巨大的分布式网络,CDN加速平台平均每秒的数据访问量可达千万级别,每秒生成的日志数据量可达GB级别,每天能够产生大几PB的日志数据。如何设计一套低延迟、高吞吐的CDN海量日志实时分析平台,对海量CDN日志进行实时分析,是当前CDN研究领域亟待解决的问题.。本文分析了CDN海量日志实时分析存在的难点与当前解决方案存在的问题,并针对这些问题,提出了相应的设计方案与架构,最终形成了一套低延迟、高吞吐的CDN日志实时分析平台架构。其中针对海量CDN日志实时接入到日志实时计算引擎这一过程存在的难点与当前解决方案存在的日志接收处理能力扩展性差、日...
【文章来源】：西安电子科技大学陕西省 211工程院校 教育部直属院校
【文章页数】：91 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
缩略语对照表
第一章 绪论
1.1 选题的背景和意义
1.2 国内外研究现状
1.3 本文的主要工作
1.4 本文组织结构
第二章 相关概念与技术
2.1 相关概念
2.1.1 DNS域名解析
2.1.2 CDN加速服务
2.1.3 CDN海量日志实时分析
2.2 相关技术
2.2.1 负载均衡
2.2.2 微服务注册与发现
2.2.3 流式计算框架
2.2.4 消息服务
2.3 本章小结
第三章 CDN海量日志实时分析存在的问题及分析
3.1 海量日志实时接入问题分析
3.2 海量数据实时计算问题分析
3.3 海量数据实时存取问题分析
3.4 计算引擎与存储模块间的耦合问题分析
3.5 本章小结
第四章 CDN海量日志实时分析平台架构研究与设计
4.1 日志接入组件ARRIS
4.1.1 概述
4.1.2 日志接收处理能力线性扩展
4.1.3 日志流量智能切换
4.1.4 日志处理微服务实例设计
4.2 分析结果入库组件AF
4.2.1 概述
4.2.2 AA交互机制
4.2.3 限流原理
4.2.4 熔断原理
4.2.5 服务实例设计
4.3 分析结果存储平台RTDP
4.3.1 数据存储种类介绍
4.3.2 数据存储平台RTDP设计
4.4 本章小结
第五章 实现与验证
5.1 实现
5.1.1 日志接入组件ARRIS实现
5.1.2 入库组件AF实现
5.2 验证
5.2.1 日志接入组件ARRIS性能验证
5.2.2 入库组件AF性能验证
5.2.3 平台整体效果验证
5.3 本章小结
第六章 总结与展望
6.1 总结
6.2 展望
参考文献
致谢
作者简介
【参考文献】：
期刊论文
[1]基于软件定义网络的服务器集群负载均衡技术研究[J]. 于天放,芮兰兰,邱雪松. 电子与信息学报. 2018(12)
[2]基于可变性模型的可复用与可定制SaaS软件开发方法[J]. 孙昌爱,张在兴,张鑫. 软件学报. 2018(11)
[3]大数据流式计算框架Storm的任务迁移策略[J]. 鲁亮,于炯,卞琛,刘月超,廖彬,李慧娟. 计算机研究与发展. 2018(01)
[4]大数据存储技术综述（英文）[J]. Aisha SIDDIQA,Ahmad KARIM,Abdullah GANI. Frontiers of Information Technology & Electronic Engineering. 2017(08)
[5]分布式环境下业务模型的数据存储及访问框架[J]. 蔡鸿明,姜祖海,姜丽红. 清华大学学报(自然科学版). 2017(06)
[6]Key-Value型NoSQL本地存储系统研究[J]. 马文龙,朱妤晴,蒋德钧,熊劲,张立新,孟潇,包云岗. 计算机学报. 2018(08)
[7]基于HBase+ ElasticSearch的海量交通数据实时存取方案设计[J]. 董长青,任女尔,张庆余,田玉靖. 大数据. 2017(01)
[8]一种自适应文件系统元数据服务负载均衡策略[J]. 佘楚玉,温武少,肖扬,刘育擘,贾殷. 软件学报. 2017(08)
[9]基于动态镜像的实时数据仓库存取预处理技术研究[J]. 毛莺池,闵伟,接青,朱沥沥. 计算机科学. 2015(12)
[10]分布式文件系统元数据服务的负载均衡框架[J]. 孙耀,刘杰,叶丹,钟华. 软件学报. 2016(12)
博士论文
[1]非结构化数据的相关问题研究[D]. 郑阶财.山东大学 2017
本文编号：3183728
【文章来源】：西安电子科技大学陕西省 211工程院校 教育部直属院校
【文章页数】：91 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
缩略语对照表
第一章 绪论
1.1 选题的背景和意义
1.2 国内外研究现状
1.3 本文的主要工作
1.4 本文组织结构
第二章 相关概念与技术
2.1 相关概念
2.1.1 DNS域名解析
2.1.2 CDN加速服务
2.1.3 CDN海量日志实时分析
2.2 相关技术
2.2.1 负载均衡
2.2.2 微服务注册与发现
2.2.3 流式计算框架
2.2.4 消息服务
2.3 本章小结
第三章 CDN海量日志实时分析存在的问题及分析
3.1 海量日志实时接入问题分析
3.2 海量数据实时计算问题分析
3.3 海量数据实时存取问题分析
3.4 计算引擎与存储模块间的耦合问题分析
3.5 本章小结
第四章 CDN海量日志实时分析平台架构研究与设计
4.1 日志接入组件ARRIS
4.1.1 概述
4.1.2 日志接收处理能力线性扩展
4.1.3 日志流量智能切换
4.1.4 日志处理微服务实例设计
4.2 分析结果入库组件AF
4.2.1 概述
4.2.2 AA交互机制
4.2.3 限流原理
4.2.4 熔断原理
4.2.5 服务实例设计
4.3 分析结果存储平台RTDP
4.3.1 数据存储种类介绍
4.3.2 数据存储平台RTDP设计
4.4 本章小结
第五章 实现与验证
5.1 实现
5.1.1 日志接入组件ARRIS实现
5.1.2 入库组件AF实现
5.2 验证
5.2.1 日志接入组件ARRIS性能验证
5.2.2 入库组件AF性能验证
5.2.3 平台整体效果验证
5.3 本章小结
第六章 总结与展望
6.1 总结
6.2 展望
参考文献
致谢
作者简介
【参考文献】：
期刊论文
[1]基于软件定义网络的服务器集群负载均衡技术研究[J]. 于天放,芮兰兰,邱雪松. 电子与信息学报. 2018(12)
[2]基于可变性模型的可复用与可定制SaaS软件开发方法[J]. 孙昌爱,张在兴,张鑫. 软件学报. 2018(11)
[3]大数据流式计算框架Storm的任务迁移策略[J]. 鲁亮,于炯,卞琛,刘月超,廖彬,李慧娟. 计算机研究与发展. 2018(01)
[4]大数据存储技术综述（英文）[J]. Aisha SIDDIQA,Ahmad KARIM,Abdullah GANI. Frontiers of Information Technology & Electronic Engineering. 2017(08)
[5]分布式环境下业务模型的数据存储及访问框架[J]. 蔡鸿明,姜祖海,姜丽红. 清华大学学报(自然科学版). 2017(06)
[6]Key-Value型NoSQL本地存储系统研究[J]. 马文龙,朱妤晴,蒋德钧,熊劲,张立新,孟潇,包云岗. 计算机学报. 2018(08)
[7]基于HBase+ ElasticSearch的海量交通数据实时存取方案设计[J]. 董长青,任女尔,张庆余,田玉靖. 大数据. 2017(01)
[8]一种自适应文件系统元数据服务负载均衡策略[J]. 佘楚玉,温武少,肖扬,刘育擘,贾殷. 软件学报. 2017(08)
[9]基于动态镜像的实时数据仓库存取预处理技术研究[J]. 毛莺池,闵伟,接青,朱沥沥. 计算机科学. 2015(12)
[10]分布式文件系统元数据服务的负载均衡框架[J]. 孙耀,刘杰,叶丹,钟华. 软件学报. 2016(12)
博士论文
[1]非结构化数据的相关问题研究[D]. 郑阶财.山东大学 2017
本文编号：3183728
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3183728.html
