异构分布式集群的视频转码与优化

发布时间：2021-07-07 10:14

　　视频正不断以更多的表示格式,更多的设备类型和多种多样的网络环境进行制作和使用。视频转码是将一种视频编码格式转换为另一种视频编码格式的过程。然而,大多数时候,转码是一个计算密集型的过程。人们常常利用分布式计算技术来高效利用多机器,多核CPU和分布式计算资源在特定设施,家庭或专用分布式基础架构中可用的计算资源来处理复杂任务。在分布式集群中,视频被分割成多个分片,在多个机器上实现并行转码。Hadoop是分布式计算技术中的一个非常流行的编程框架,为分布式系统提供了高可扩展性,满足了视频转码的高可扩展性需求。在分布式集群中,机器之间的计算能力不一定会相同,计算能力的异构性是分布式系统中非常普遍的特性。本文从任务调度和系统架构的角度研究了异构分布式集群的视频转码加速问题。主要的工作和创新点如下:（1）异构集群的负载不均衡使得集群的计算资源利用不合理,导致视频转码作业的执行时间远高于理想值。因此,一个负载均衡的任务调度算法能够实现分布式视频转码加速。Max-MCT和MLFT任务调度算法的模型没有考虑视频分片的传输开销,使得任务调度模型不够精确,PLTS算法考虑了分片传输开销但是没有平衡分片转码时间和... 

【文章来源】：湖南大学湖南省 211工程院校 985工程院校 教育部直属院校

【文章页数】：72 页

【学位级别】：硕士

【部分图文】：

016.12-2017.12网络视频/手机网络视频用户规模及使用率

图 2. 13 Alluxio 在大数据技术中的层次工作节点1主节点底层文件系统元数据修改/查询节点状态数据I/OMemSSDHDDNode1工作节点2MemSSDHDD工作节点3MemSSDHDD客户端Node2 Node3

也避免了一次磁盘读写。通过减少两次分片的上传操作数，加速了视频转码流程。 Alluxio 的 Hadoop 视频转码系统设计adoop 视频转码系统中，设计的主要思路是，系统环境搭mat， Mapper 阶段设计， Reducer 阶段设计。统环境搭建的 Hadoop 视频转码系统的环境包括 FFmpeg 环境、Hado文件系统搭建。FFmpeg 用于视频分割、视频分片转码和转码并。Hadoop 作为分布式集群的基础框架，提供了分布式分 布 式 计 算 框 架 MapReduce、资 源 管理 和 作 业 调 度 平 台作为 HDFS 的替代品，为视频转码系统提供内存级别视频分片

【参考文献】：
期刊论文
[1]Hadoop云计算平台在视频转码上的应用[J]. 张浩,孙淑霞.  电脑与电信. 2011(12)
[2]分布式系统Hadoop平台的视频转码[J]. 杨帆,沈奇威.  计算机系统应用. 2011(11)
[3]视频转码技术研究[J]. 林杰聪,黄祥林,杨占昕.  中国传媒大学学报(自然科学版). 2006(03)

硕士论文
[1]基于Hadoop的离线视频数据处理技术研究与应用[D]. 高东海.北京邮电大学 2014



本文编号：3269448