基于云计算平台的转码服务器的设计与实现

发布时间：2017-04-12 02:05

  本文关键词：基于云计算平台的转码服务器的设计与实现，，由笔耕文化传播整理发布。

【摘要】：近年来互联网技术和新媒体得到了高速的发展,很多基于新媒体的应用在软件市场上越来越丰富,尤其是视频业务已经成为用户的“新宠儿”。当前市场上,由于终端设备类型的多样化、各种视频媒体格式以及网络环境的差异性,这就需要一种能够解决海量视频转码、实时快速处理视频的技术。而云平台通过其强大的并行计算能力、较高的容错能力和良好的扩展性等特点,并且云技术的发展越来越成熟,因此可以探究将视频转码任务转移到云平台上进行。在众多的云平台中,目前运用最广泛的是Hadoop云计算平台,它是一个开源框架,同时支持分布式计算、海量数据处理与存储。因此,Hadoop开源框架的出现,使得解决面向多种终端设备、多种视频格式、多种码流要求的实时视频转码问题成为可能。本文依托研究科室的“新媒体互动广播”项目,提出并实现一种基于Hadoop云计算平台的转码方案。本文主要技术是利用Hadoop云计算平台和FFmpeg开源转码工具对视频进行分布式转码,主要内容是研究和分析Hadoop平台的两大核心:分布式文件系统HDFS(Hadoop Distributed File System)和MapReduce并行计算模型,利用视频文件封装原理、视频格式和视频编解码技术,采用基于GOP(Group of Pictures)连续帧的分片技术,把原始视频文件分割成若干个视频片段,再结合MapReduce编程思想设计并实现Mapper和Reducer工作任务,本文最后还针对系统的分布式转码功能进行了实验和测试。经过实验表明,本文实现的云转码系统能够在一定程度上提高视频转码的效率,并且在整体上增强了项目平台的业务能力。该方案不仅充分利用了云平台中集群的并行计算能力,解决了研究室之前项目中单机转码的性能瓶颈问题,而且满足了研究室新媒体互动广播业务的发展需求,具有较强的实际意义。
【关键词】：视频转码 Hadoop FFmpeg Map Reduce
【学位授予单位】：中国科学院研究生院(沈阳计算技术研究所)
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TN919.81
【目录】：

• 摘要5-6
• ABSTRACT6-9
• 引言9-11
• 第一章 绪论11-15
• 1.1 研究背景和意义11-12
• 1.2 国内外研究现状12-13
• 1.3 论文研究的主要内容13-14
• 1.4 论文组织结构14-15
• 第二章 Hadoop云平台和视频转码技术15-27
• 2.1 云计算概述15-18
• 2.1.1 云计算的概念和特点15
• 2.1.2 云计算的关键技术15-18
• 2.2 Hadoop云平台的相关技术18-23
• 2.2.1 Hadoop基本架构18-19
• 2.2.2 HDFS体系结构19-21
• 2.2.3 MapReduce编程原理21-23
• 2.3 视频转码技术23-26
• 2.3.1 视频压缩标准及原理23-25
• 2.3.2 视频转码技术25-26
• 2.4 本章小结26-27
• 第三章 基于Hadoop云平台转码系统的设计27-39
• 3.1 云转码系统整体架构27-32
• 3.1.1 云转码系统整体架构设计27-29
• 3.1.2 云转码系统功能模块设计29-32
• 3.2 视频转码模块设计32-38
• 3.2.1 基于GOP的视频分片技术32-34
• 3.2.2 基于FFmpeg的视频转码技术34-37
• 3.2.3 视频合并37-38
• 3.3 本章小结38-39
• 第四章 基于Hadoop云平台转码系统的实现39-50
• 4.1 基于MapReduce的转码算法实现39-44
• 4.1.1 InputFormat的实现40-42
• 4.1.2 MapO（）函数的实现42-43
• 4.1.3 Reduce（）函数的实现43-44
• 4.2 基于Hadoop云平台的系统作业调度44-46
• 4.3 基于Hadoop云平台的系统部署46-49
• 4.4 本章小结49-50
• 第五章 云转码系统的实验与分析50-55
• 5.1 转码系统的性能测试50
• 5.2 转码系统实验结果与分析50-54
• 5.3 本章小结54-55
• 结束语55-57
• 参考文献57-59
• 发表文章59-60
• 致谢60

【相似文献】

中国期刊全文数据库 前10条

1 冯传岗;数字视频格式的转换及转码[J];有线电视技术;2003年20期

2 冒捷;转码技术在视频领域内的应用分析[J];现代电视技术;2005年02期

3 徐薇;;转码技术在媒体资产管理系统中的应用[J];西部广播电视;2006年05期

4 包盛;段保通;邵锋军;;三网融合下基于云计算的实时转码技术研究和应用[J];电信科学;2011年03期

5 包盛;段保通;邵锋军;;三网融合下基于云计算的实时转码技术的研究和应用[J];电视工程;2011年02期

6 李姗;;浅析基于三屏业务的转码技术[J];中国广播;2011年06期

7 连汉权;;三网融合之三屏转码技术[J];有线电视技术;2012年08期

8 高岩,夏雨人;无线传输中对转码后视频的客观质量评价[J];计算机工程;2004年S1期

9 陈剑雄;;转码技术在制播一体网中的应用[J];电视字幕(特技与动画);2009年02期

10 肖航;;素材迁移转码技术在备播系统中的实现[J];现代电视技术;2010年10期

中国重要会议论文全文数据库 前2条

1 黄柑波;;基于开放式云转码服务平台的技术研究[A];《IT时代周刊》2013年度论文集[C];2013年

2 谈伟;王晓阳;涂晓东;周茜;;基于方向预测的MPEG-2到H.264/AVC频域帧内快速转码[A];中国通信学会第五届学术年会论文集[C];2008年

中国重要报纸全文数据库 前2条

1 赵凯期;转码技术引领视频产业创新[N];电子资讯时报;2007年

2 崔澎;未来视频市场依赖转码技术[N];中国高新技术产业导报;2008年

中国博士学位论文全文数据库 前6条

1 柳辉;可伸缩性视频编码的转码及其应用[D];中国科学技术大学;2009年

2 郑艳;MPEG-2到H.264/AVC视频转码及相关技术研究[D];上海交通大学;2008年

3 周怡然;视频编码与转码的容错算法研究[D];浙江大学;2010年

4 张春荣;数字视频DCT域转码技术研究[D];上海交通大学;2007年

5 解蓉;MPEG-2/MPEG-4视频流转码及编码器优化[D];浙江大学;2002年

6 沈慧锋;远程富媒体的呈现[D];中国科学技术大学;2010年

中国硕士学位论文全文数据库 前10条

1 郑飞扬;HEVC的模式判决转码算法研究及滤波模块的并行实现[D];上海交通大学;2015年

2 郑成贺;手机安防网关及转码服务的研究与设计[D];福州大学;2014年

3 付雷;基于云计算平台的转码服务器的设计与实现[D];中国科学院研究生院(沈阳计算技术研究所);2016年

4 张勇;面向移动视频的分布式实时转码机制研究[D];华中科技大学;2013年

5 赛音;多格式视频的快速转码算法研究[D];上海交通大学;2014年

6 毛莉花;自适应转码技术在网上直播系统中的研究与应用[D];苏州大学;2009年

7 刘第;卫星寻呼转码卡的研究与设计[D];北京工业大学;2000年

8 方阳;海量视频实时云转码系统设计与实现[D];大连理工大学;2013年

9 周瑾;转码服务系统码率变换与同步技术的研究[D];上海交通大学;2007年

10 陈兴U

本文编号：300450