基于Hadoop的视频转码优化的研究

发布时间：2017-04-16 17:07

  本文关键词：基于Hadoop的视频转码优化的研究，，由笔耕文化传播整理发布。

【摘要】：在“互联网+”的大潮推动下,人们对视频的转码速度和质量等多方面需求日益增长。在2015年度的网络流量年报总结中可以看出,有关视频的流量成为了人们生活中消耗最大,占比例最大的一种。目前无论是工业界还是学术界,如何解决视频转码处理高效、高质量、高可用的“三高”问题,成为了研究的重点和核心。为此本文开展了视频转码的优化研究。本文采用云计算技术对视频进行转码,使用云环境达到并行计算,完成高效和高可用,力求转码前后质量不会发生巨大偏差。本文设计了一个视频转码云平台。该平台采用典型的三层结构:Iaa S选用的是Amazon基础设施云;Paa S选用的是Hadoop;Saa S中运行的是高性能的视频转码应用。本文提出了采用将FFMPEG和Map Reduce技术融合实现视频转码优化策略。文中创新性地提出了S_Map Reduce结构并在S_Map Reduce中引入虚拟IP机制来提高可扩展性和改变了Map Reduce架构的不可跨域等多个问题;设计了心跳包流程并改进了负载均衡模块,使整个架构能高效、稳定的进行任务处理;对Map Reduce的工作流和数据流进行修改和优化,提高计算架构的效率。视频转码优化是基于云平台,将FFMPEG和S_Map Reduce融合,实现分布式转码。主要工作包括:(1)根据固定场景和多个限定条件,将累赘的部分删除掉,为FFMPEG进行了合理化的瘦身。完成了针对于S_Map Reduce的NALU设计,提出了防竞争机制,避免出现竞争和顶替错误(2)设计了APU格式来配合Map Reduce进行分块处理,并优化了解码流程,提高了效率。(3)设计了二次校验算法并保证了数据的完整性和有序性。实验环境使用了19个节点来建设转码云,在实验数据方面采用多层次、多维度,这样保证了实验的全面性和严谨性。本文中实验主要是对视频转码效果和视频质量进行测试。通过实验可以得知在效率方面比未修改的FFMPEG方法有显著提高,而随着数据量的增加本文方案效率的提升也逐渐加快。对比多点和单点架构可以得出结论,当单个文件大小是10GB时本文方案的效率提升可以达到对照方案的16.4倍。
【关键词】：视频转码 虚拟IP FFMPEG Hadoop Map Reduce
【学位授予单位】：吉林大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.13;TP393.09
【目录】：

• 摘要4-5
• Abstract5-9
• 第一章 引言9-12
• 1.1 项目背景及意义9
• 1.2 国内外研究现状9-11
• 1.2.1 国内现状9-10
• 1.2.2 国外现状10-11
• 1.3 本文主要工作11
• 1.4 论文结构11-12
• 第二章 相关技术基础12-17
• 2.1 云计算12
• 2.2 Hadoop平台12-13
• 2.3 MapReduce计算架构13-15
• 2.4 视频转码技术15-17
• 第三章 转码云平台架构设计17-21
• 3.1 视频转码云体系结构17-18
• 3.2 技术选择18-19
• 3.3 转码云工作流设计19-21
• 第四章S_MapReduce架构21-29
• 4.1 S_MapReduce架构设计21-22
• 4.2 S_MapReduce心跳包设计22-24
• 4.3 S_MapReduce工作流和数据流设计24-27
• 4.4 负载均衡模块设计27-29
• 第五章 视频转码的优化设计29-42
• 5.1 FFMPEG解码29-34
• 5.1.1 NAL单元设计29-32
• 5.1.2 解码过程32-33
• 5.1.3 二次校验算法设计33-34
• 5.2 S_MapReduce和FFMPEG融合34-42
• 5.2.1 S_MapReduce和FFMPEG框架整合34-36
• 5.2.2 S_MapReduce分块策略设计36
• 5.2.3 APU原子处理单元设计36-37
• 5.2.4 分割点设计37-39
• 5.2.5 时间戳的单调性39
• 5.2.6 转码S_MapReduce算法设计39-42
• 第六章 实验与分析42-50
• 6.1 实验环境42-43
• 6.2 实验数据准备43-44
• 6.3 实验与分析44-50
• 第七章 总结与展望50-52
• 7.1 总结50
• 7.2 展望50-52
• 参考文献52-56
• 致谢56-57
• 作者简介及在校期间所取得的科研成果57

【参考文献】

中国期刊全文数据库 前2条

1 杨帆;沈奇威;;分布式系统Hadoop平台的视频转码[J];计算机系统应用;2011年11期

2 刘智国;张雅明;;浅谈FLV视频格式[J];电脑知识与技术;2008年20期

  本文关键词：基于Hadoop的视频转码优化的研究，由笔耕文化传播整理发布。

本文编号：311261