分布式视频增强转码系统设计与优化
发布时间：2020-07-06 10:07
【摘要】：随着媒体内容服务的快速发展,人们对视频质量的要求也逐渐提高。相比于普通的高清视频,高帧率、高动态、广色域、画面更加细致的4K视频更加受观众欢迎。为了满足用户对海量高质量视频的需求,视频内容服务商希望通过时下流行的云计算技术来实现视频增强转码服务。然而传统的重量级的分布式框架无法灵活的运用于视频增强转码云服务搭建之中。本文首先给出了分布式视频增强转码系统的解决方案。该系统可以搭建于私有云或公有云服务之上,通过RESTful API为开发者或者用户提供服务。系统设计为三层架构,分别为数据层、处理层和表示层。在系统工作时,三层架构之间通过三种信息流进行信息交互,分别为控制流、状态流和数据流。在系统中,我们对视频处理算法进行了一致的抽象,并且支持链式处理、CPU-GPU协同处理、Windows-Linux协同处理。本文随后针对视频增强转码过程中高效性、稳定性和可拓展性等方面进行了优化。首先提出了多叉树型链式处理模型,实现了视频增强后多路转码的功能需求;随后提出了针对视频处理作业的分片处理模型。与视频作业完整处理相比,在资源充足的情况下,分片处理可以显著提升视频处理效率;另外,系统内实现了针对链式处理模型的数据本地化机制。在实验系统中,当进行无分支链式处理时,数据本地化可以提升5.93%的视频处理效率;最后,我们将系统组件容器化,不仅实现了节点的秒级部署,还对执行节点提供了监控和容错机制。本系统已成功应用于UGC在线服务平台。在该应用中,本系统部署于中国电信私有云服务系统,并提供视频增强转码服务。
【学位授予单位】：上海交通大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TN919.8
【图文】：
本文实现的分布式视频增强转码系统可架构于公有云或私有云之上，为视内容增强和转码服务提供解决方案。如图３－１所示，分布式视频增强转码系统架逡逑构于基础的ＩａａＳ服务之上，利用传统的公有云，如亚马逊云、阿里云或者企业、逡逑学校的私有云系统提供基础设施，包括存储资源、ＣＰＵ计算资源、内存资源和带逡逑宽资源等系统开放ＲＥＳＴｆｕｌＡＰＩ，开发者可以基于提供的开放ＡＰＩ开发ＵＧＣ视逡逑
２４／２３．９了６帧的高清视频转换为分辨率为４Ｋ、帧率为５０／６０帧、增强画质的全４Ｋ逡逑视频。无论是画面的细节，还是色彩的丰富度，全４Ｋ视频都给人以更加真实的感逡逑受。一个完整的“ＨＤ转４Ｋ”的流程＿如图３－２所示，通常包含“视频读取——逡逑去噪一一色彩调节一一超帧率一一超分辨率一一转码”等步骤。逡逑ＨＤ，Ｈ２６４邋＿邋去噪逦＿＾色彩调节邋＿＾邋超帧率邋＿逡逑｛参数｝逦｛参数｝逦｛参数｝逡逑＿＾超分辨率邋＿＾逦编码逦４Ｋ，Ｈ２６丨５逡逑｛参数｝逦｛参数｝逡逑图３－２—ＨＤ转４Ｋ”洗赛图逡逑Ｆｉｇ．３－２邋Ｔｈｅ邋ｗｏｒｋ邋ｆｌｏｗ邋ｏｆ邋“ＨＤ邋ｔｏ邋４Ｋ”逡逑然而“ＨＤ转４Ｋ”任务往往需要消耗大．量的时间和ＣＰＵ、内存资源。以《阿逡逑凡达》影片的增强码为例，Ｈ２６４编码、１０８０ｐ、时长２小时４２分钟的《阿凡达》逡逑电影，使用２．６ＧＨｚ、２４核ＣＰＵ、６４Ｇ内存的工作站完成图３－２的处理步骤，得到逡逑Ｈ２６５编码、码率为１５Ｍｂ／ｓ的全４Ｋ电影，需要４７．２小时，是非常耗时的作业。逡逑所以，如果将“ＨＤ转４Ｋ”批量生产，人0：处理是不可能实现的繁琐任务，只能逡逑通过将处理过程迁移到公有＇云或者私有云上达到自动生产。逡逑质量和速度是“ＨＤ转４Ｋ”任务需要考虑的重要问题。为了提升用户的体验，逡逑去噪算法、超帧率算法、超分辨率算法等往往都需要随着工业界和学术界的研宄逡逑而持续更新
中小规模的私有云情况下，这种解决方式是可靠的。逡逑关系型数据库主要存储系统中的用户信息、文件信息、永久处理Ｈ志信息等，逡逑具体的表结构如图３－４所示。逡逑Ｕｓｅｒ逡逑ａｕｔｈｃｏｄｅ（唯一ｉ■人证）逡逑ｅｍａｉｌ（Ｂｉ—邮箱）逡逑ｕｓｅｒｉｄ（用户名）逦逦拥有ｉｎ—逡逑ｐａｓｓｗｏｒｄ邋kw码）逡逑ｕｓｅｒｓｔｏｒａｇｅ（用户存储）逡逑ｓｅｃｒｅｔｋｅｙ俄回密码认证码）逡逑ｏｕｔｄａｔｅ（过期时间）逡逑＂１邋逦：：逦逡逑己逦ＭｅｄｉａＦｉｌｅ逡逑逦逦邋ＰｒｏｃｅｓｓＬｏｇ逦｜逦ｆｉｌｅｉｄ（Ｓ：件标识）逡逑ｔａｓｋｉｄ？R傥ㄒ槐晔叮╁危椋铮猓椋洌ㄗ饕滴ㄒ槐辏礤危妫椋欤澹睿幔恚澹ǎ丶╁义希妫幔簦瑁澹颍椋洌ǜ稿澹簦幔螅脲寤蛘咚簦辏铮忮宓腻澹椋洌╁危幔酰簦瑁悖铮洌邋錛停洛逵没В╁义希幔妫簦澹颍尕澹椋洌ù砗蟮奈募畔ⅲ惧澹蓿幔樱椋海巍澹悖铮睿簦颍铮欤椋螅铮铄澹渝沃莸囊糟爰
本文编号：2743495
【学位授予单位】：上海交通大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TN919.8
【图文】：
本文实现的分布式视频增强转码系统可架构于公有云或私有云之上，为视内容增强和转码服务提供解决方案。如图３－１所示，分布式视频增强转码系统架逡逑构于基础的ＩａａＳ服务之上，利用传统的公有云，如亚马逊云、阿里云或者企业、逡逑学校的私有云系统提供基础设施，包括存储资源、ＣＰＵ计算资源、内存资源和带逡逑宽资源等系统开放ＲＥＳＴｆｕｌＡＰＩ，开发者可以基于提供的开放ＡＰＩ开发ＵＧＣ视逡逑
２４／２３．９了６帧的高清视频转换为分辨率为４Ｋ、帧率为５０／６０帧、增强画质的全４Ｋ逡逑视频。无论是画面的细节，还是色彩的丰富度，全４Ｋ视频都给人以更加真实的感逡逑受。一个完整的“ＨＤ转４Ｋ”的流程＿如图３－２所示，通常包含“视频读取——逡逑去噪一一色彩调节一一超帧率一一超分辨率一一转码”等步骤。逡逑ＨＤ，Ｈ２６４邋＿邋去噪逦＿＾色彩调节邋＿＾邋超帧率邋＿逡逑｛参数｝逦｛参数｝逦｛参数｝逡逑＿＾超分辨率邋＿＾逦编码逦４Ｋ，Ｈ２６丨５逡逑｛参数｝逦｛参数｝逡逑图３－２—ＨＤ转４Ｋ”洗赛图逡逑Ｆｉｇ．３－２邋Ｔｈｅ邋ｗｏｒｋ邋ｆｌｏｗ邋ｏｆ邋“ＨＤ邋ｔｏ邋４Ｋ”逡逑然而“ＨＤ转４Ｋ”任务往往需要消耗大．量的时间和ＣＰＵ、内存资源。以《阿逡逑凡达》影片的增强码为例，Ｈ２６４编码、１０８０ｐ、时长２小时４２分钟的《阿凡达》逡逑电影，使用２．６ＧＨｚ、２４核ＣＰＵ、６４Ｇ内存的工作站完成图３－２的处理步骤，得到逡逑Ｈ２６５编码、码率为１５Ｍｂ／ｓ的全４Ｋ电影，需要４７．２小时，是非常耗时的作业。逡逑所以，如果将“ＨＤ转４Ｋ”批量生产，人0：处理是不可能实现的繁琐任务，只能逡逑通过将处理过程迁移到公有＇云或者私有云上达到自动生产。逡逑质量和速度是“ＨＤ转４Ｋ”任务需要考虑的重要问题。为了提升用户的体验，逡逑去噪算法、超帧率算法、超分辨率算法等往往都需要随着工业界和学术界的研宄逡逑而持续更新
中小规模的私有云情况下，这种解决方式是可靠的。逡逑关系型数据库主要存储系统中的用户信息、文件信息、永久处理Ｈ志信息等，逡逑具体的表结构如图３－４所示。逡逑Ｕｓｅｒ逡逑ａｕｔｈｃｏｄｅ（唯一ｉ■人证）逡逑ｅｍａｉｌ（Ｂｉ—邮箱）逡逑ｕｓｅｒｉｄ（用户名）逦逦拥有ｉｎ—逡逑ｐａｓｓｗｏｒｄ邋kw码）逡逑ｕｓｅｒｓｔｏｒａｇｅ（用户存储）逡逑ｓｅｃｒｅｔｋｅｙ俄回密码认证码）逡逑ｏｕｔｄａｔｅ（过期时间）逡逑＂１邋逦：：逦逡逑己逦ＭｅｄｉａＦｉｌｅ逡逑逦逦邋ＰｒｏｃｅｓｓＬｏｇ逦｜逦ｆｉｌｅｉｄ（Ｓ：件标识）逡逑ｔａｓｋｉｄ？R傥ㄒ槐晔叮╁危椋铮猓椋洌ㄗ饕滴ㄒ槐辏礤危妫椋欤澹睿幔恚澹ǎ丶╁义希妫幔簦瑁澹颍椋洌ǜ稿澹簦幔螅脲寤蛘咚簦辏铮忮宓腻澹椋洌╁危幔酰簦瑁悖铮洌邋錛停洛逵没В╁义希幔妫簦澹颍尕澹椋洌ù砗蟮奈募畔ⅲ惧澹蓿幔樱椋海巍澹悖铮睿簦颍铮欤椋螅铮铄澹渝沃莸囊糟爰
本文编号：2743495
本文链接：https://www.wllwen.com/kejilunwen/wltx/2743495.html
