基于Hadoop的广电CDN数据中心系统设计与实现

发布时间：2017-07-30 12:07

  本文关键词：基于Hadoop的广电CDN数据中心系统设计与实现

  更多相关文章： 广电 Hadoop HBase 数据中心 CDN网络

【摘要】：CDN (Content Delivery Network,即内容分发网络)是通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络。它能够实时地根据网络性能指标综合运算的结果,将用户的请求重新导向离用户最近的服务节点上,以便使用户可就近取得所需内容,解决Internet网络拥挤状况,提高用户访问网站的响应速度。这些性能指标包括：网络流量、各节点的连接、负载状况、各节点到用户的距离,以及响应时间等等。广电行业自身的CDN定义最早来自北美,从ISA架构到NGOD架构,乃至总局定义的NGB架构,CDN只是内容分发组件,如果与互联网或IPTV的CDN对应,则应该包括CDN+VSS+SRM.广电的CDN网络的架构一般包括：数据中心、推流服务器和CDN网络。数据中心的作用包括：多媒体数据的存储、影片的切片和存储、多媒体内容的管理、内容的分发、用户行为的分析、数据报表服务。本文在现有广电CDN网络数据中心基础之上,经过分析广电行业的实际的业务需求、业务流程,以及目前系统存在的问题和弊端,然后结合信息安全的思想,设计并实现了一个满足广电行业特殊业务需求和需要的CDN网络数据中心系统。首先,本文介绍了广电行业CDN数据中心系统项目的背景,以及目前存在的主要问题；然后分析并逐条论述了该系统的功能性需求和非功能性需求。基于需求分析,我们提出了系统的设计目标和设计原则,并基于此进行了技术架构设计和功能架构设计。在技术架构上,系统主要考虑了效率、可扩展性、可移植性、可维护性以及功能性问题,因此采用当前最流行的Hadoop大数据处理技术,并基于该大数据处理架构,进行了设计分析。在功能架构设计中,本文讨论了系统各部分的功能要求、功能组成,最后按照物理架构和逻辑架构输出了整体设计。再一步进行CDN数据中心系统的详细设计。该部分按照层次化和模块化的软件设计思路来设计系统,详细介绍了数据处理层、数据存储中心、应用层、数据库设计共4个方面。在每一层中,对其包含的每个模块配合流程图、顺序图、文字描述等方式进行了详细设计。第四部分,是实现与测试部分。我们基于详细设计,首先对各层、各个模块的实现进行了简单介绍,给出了系统的功能结构图、整体效果图和各个部分的实现图。在对每个模块实现的描述中,也对真实生产系统已经实现的功能进行了描述并附图。尤其是对系统中用到的关键技术(HDFS, HIVE, MapReduce)进行介绍和分析。最后,按照真实的环境和设计要求,进行了性能测试,对测试结果和结论给出了详细的分析和描述。最后,本文对CDN网络的数据中心系统的应用情况作了简单介绍,并对系统进一步改进提出了建议。综上所述,我们在分析了广电CDN网络业务需求和大数据存储和处理系统思想的基础上,设计并实现了针对广电行业CDN网络的数据中心系统,达到了预期目的。
【关键词】：广电 Hadoop HBase 数据中心 CDN网络
【学位授予单位】：山东大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP311.52;TP308
【目录】：

• 摘要8-10
• ABSTRACT10-13
• 符号说明13-14
• 第1章 绪论14-22
• 1.1 广电行业CDN数据中心系统开发背景14-16
• 1.2 国内外研究现状16-19
• 1.3 解决的主要问题19
• 1.4 本文的主要工作19-20
• 1.5 论文的组织结构20-22
• 第2章 广电行业CDN数据中心系统需求分析22-29
• 2.1 广电行业CDN数据中心系统概述22-24
• 2.1.1 广电行业CDN数据中心系统项目背景22-23
• 2.1.2 广电行业CDN数据中心系统项目说明23-24
• 2.1.3 广电行业CDN数据中心整体系统概述24
• 2.2 广电行业CDN数据中心系统目标和解决的问题24-25
• 2.3 广电行业CDN数据中心系统需求问题描述25-29
• 2.3.1 广电行业CDN数据中心系统功能性需求25-27
• 2.3.2 广电行业CDN数据中心系统非功能性需求27-29
• 第3章 广电行业CDN数据中心系统架构设计29-34
• 3.1 广电行业CDN数据中心系统设计目标和原则29
• 3.2 广电行业CDN数据中心系统技术架构设计29-34
• 3.2.1 广电行业CDN数据中心系统物理架构29-32
• 3.2.2 广电行业CDN数据中心系统逻辑架构32-34
• 第4章 广电行业CDN数据中心系统详细设计34-61
• 4.1 广电行业CDN数据中心模块设计34-61
• 4.1.1 数据处理层34-46
• 4.1.2 数据存储中心46-47
• 4.1.3 应用层47-49
• 4.1.4 数据库设计49-61
• 第5章 广电行业CDN数据中心系统实现与测试61-82
• 5.1 广电行业CDN数据中心系统总体实现61-68
• 5.2 Hadoop在广电CDN系统中的应用68-78
• 5.2.1 HDFS在数据中心系统中的应用68-74
• 5.2.2 HIVE在数据中心处理系统中的应用74-75
• 5.2.3 MapReduce在数据中心系统中的应用75-78
• 5.3 系统测试78-82
• 第6章 结论82-83
• 参考文献83-85
• 致谢85-86
• 附件86

【相似文献】

中国期刊全文数据库 前10条

1 江南;数据中心如何应付管理挑战[J];互联网周刊;2001年40期

2 ;简化管理挑战——惠普推实用数据中心解决方案[J];每周电脑报;2001年67期

3 李庆莉;去数据中心看一看——中国银行华北信息中心计划处处长云恩善谈数据中心运行、管理[J];中国金融电脑;2002年12期

4 马天蔚;;数据中心按需造[J];每周电脑报;2002年25期

5 戚丽,蒋东兴,武海平,冯珂;校园数据中心建设与管理方法的探索[J];教育信息化;2002年S1期

6 何俊山;您企业的数据中心2003了吗?[J];微电脑世界;2003年17期

7 ;挖潜数据中心[J];金融电子化;2004年07期

8 王琨月;;数据中心业务就绪[J];每周电脑报;2004年21期

9 包东智;新热点:创建下一代数据中心[J];上海信息化;2005年10期

10 ;把握数据中心建设五大看点[J];中国计算机用户;2005年10期

中国重要会议论文全文数据库 前10条

1 姚，

本文编号：594123