分布式音视频转码系统的设计与实现

发布时间：2024-04-24 01:11

　　随着音视频分享网站、直播网站、短视频网站的大规模出现,音视频压缩与处理需求越来越多,音频与视频的处理技术也越来越受到国内外的广泛关注,视频分享网站例如优酷、乐视、爱奇艺、腾讯视频,直播网站例如斗鱼,短视频App比如今日头条、抖音、快手等,传统的单机转码,专用设备转码,越来越不能满足现有音视频,直播,短视频网站的需求。针对这些问题,视频网站为了满足自我生产视频与满足UGC(User Generated Content)用户乃至内部PGC(Professional Generated Content)生产需求,研发了分布式转码系统,使用多台设备并行转码,以提高视频生产速度,提高用户体验等。现阶段大量分布式转码系统使用了分布式计算框架Hadoop框架进行分布式转码^[1],由于视频文件与其他数据处理方式有较大不同,故通用开源分布式计算框架直接用于多媒体文件处理有较大难度,难度主要体现在通用开源分布式计算框架如Hadoop等在转码过程中IO开销较高,过程复杂,且没有转码业务级别的监督管控系统。针对这些问题,本文分析了通用开源框架的优势与缺点,提出了进一步的改进方案。论文的主...

【文章页数】：72 页

【学位级别】：硕士

【部分图文】：

图2-1传统转码系统结构

UVLC（UniversalVariableLengthCoding）码表[14]，同事，进行视频编码，使量化后的DCT变换系数使用CAVLC。5）编码INTRA图像可用帧内预测有效提高预测质量。6）宏块（MB）更精细与多样化分解，大大提高了运动目标估值精度。2.....

图2-2Hadoop系统结构

图2-2Hadoop系统结构Fig.2-2hadoopsystemstructure如图2-2我们可以看到Hadoop分布式计算框架是由一个Master与多个Slave组Master中包含了NameNode和JobTracker，Slave中包含了Data....

图2-3Hadoop用于分布式转码系统处理流程图

图2-3Hadoop用于分布式转码系统处理流程图Fig.2-3theprocessgraphusinghadoopfortranscodevideoHadoop系统进行分布式转码的基本原理[17]：1.总体思路：通过HadoopStreaming....

图2-4使用调度器的转码系统结构图

h)最后清理中间文件，并通知调用方。2.4主流转码系统的性能瓶颈传统转码瓶颈在于无法并发转码，只能使用单机转码，极大限制了生产效率。那么如何可以改良这种结构，我们进行了进一步的思考，发现可以做一个架构升级，让传统转码系统可以进行水平扩展，即ScaleOut。我们采取的方案....

本文编号：3963013