基于iOS平台的直播推流客户端的设计与实现

发布时间：2020-10-01 21:13

　　目前的移动互联网已经进入一个以内容消费为主导的时代,各种形式的内容正改变着人们的生活习惯和状态。其中视频直播内容由于其实时性强,使用门槛低以及观众参与度高等特点,受到了大量用户的追捧。为了满足用户需求,各大厂商也都极力开展直播业务,提出了许多关于直播的技术解决方案。对于直播中的推流环节,目前已有多种技术解决方案,不过这些解决方案通常未完全开放其关键技术,无法为所有需要开展直播业务的开发者提供全面的技术支持。同时在一些重要的技术环节如:人像美化过程中,主流的解决方案通常基于双边滤波器进行实现,存在计算资源占用较多的问题。另外在处理视频流数据时,通常只是简单地对视频图像逐帧地使用图像算法进行处理,并没有利用视频图像之间的联系,从而导致视频播放过程中可能出现闪烁的情况。为了解决上述的问题,本论文对基于iOS系统平台的直播推流客户端的设计与实现进行了研究。论文先对推流过程中涉及到的技术环节进行分析,并基于iOS平台给出了实现方案。同时论文还基于导向滤波对推流过程中涉及到的人像美颜方案进行了实现,并结合视频流的特点,对导向滤波算法进行了优化,提高了导向滤波算法在视频流应用场景下的表现,提高了处理后的视频的稳定性,减少了视频闪烁的现象。在完成对客户端的设计与实现后,本论文对直播推流客户端进行了功能和性能两个方面的测试,验证了客户端能够实现直播推流过程中涉及到所有功能,并且证明了论文提出的优化算法有效降低了对计算资源的占用,提高了直播画面内容的质量。
【学位单位】：北京邮电大学
【学位级别】：硕士
【学位年份】：2018
【中图分类】：TP391.41;TP311.52
【部分图文】：

高斯滤波,滤波处理,处理结果,原图

逦北京邮电大学工学硕士论文逦逡逑高斯滤波虽然有效地平滑人脸面部的瑕疵，但由于其无法检测并保留图像边缘，逡逑将导致重要边缘信息模糊，影响最终图像输出的效果。逡逑为了改善这一点，人像美化通常基于Ｃ．邋Ｔｏｍａｓｉ提出的双边滤波ｍ来设计。逡逑双边滤波也是高斯内核的滤波器，但其高斯滤波器的基础上，综合考虑了空间域逡逑和值域的差异，实现了在保留图像边缘的基础上对图像进行平滑处理。基于双边逡逑滤波的人像美颜方案在保持边缘和平滑非边缘区域这两点上都有着很好的效果，逡逑目前被广泛应用于各直播解决方案中。但是由于双边滤波算法的时间复杂度跟其逡逑滤波器矩阵半径的大小相关，其性能存在一定的局限性，在移动端设备计算性能逡逑有限的情况下，有可能会出现图像无法实时处理的情况，从而导致推流卡顿的现逡逑象。逡逑

分层图,音频,框架,层次

北京邮电大学工学硕士论文。比特率＝采样率＊位宽＊声道数，即当采样率为４４１００邋声道数为２时，其无压缩状态下的比特率为１．３８Ｍｂｐｓ。逡逑频录制框架逡逑邋Ａｕｄｉｏ是ｉＯＳ系统中的关于数字音频处理的基础设施，它是音频的一组软件框架，所有关于ｉＯＳ音频开发的接口都是由Ｃ者经过它提供的接口来进行封装的。Ａｐｐｌｅ官方对Ｃｏｒｅ邋Ａｕｄｉｏ下：逡逑－

结构图,结构图,音频,实时性能

Ｈｏｓｔ邋Ｔｉｍｅ邋Ｓｅｒｖｉｃｅｓ逦Ｃｏｒｅ邋ＭＩＤＩ逡逑图４－１邋Ｃｏｒｅ邋Ａｕｄｉｏ框架分层图逡逑对于Ｌｏｗ－Ｌｅｖｅｌ层次中提供的服务，其主要作用在ＭＡＣ系统上的音频ＡＰＰ逡逑实现中并且需要最大限度的实时性能的情况下使用，大部分ｉ0Ｓ系统中的音频逡逑ＡＰＰ不需要使用该层的服务。而且，在ｉＯＳ系统上也提供了具备较高实时性能逡逑的高层ＡＰＩ达到你的需求。其中Ｉ／Ｏ邋Ｋｉｔ用于实现与硬件驱动交互；Ａｕｄｉｏ邋ＨＡＬ逡逑为音频硬件抽象层，使ＡＰＩ调用与实际硬件相分离，保持独立；Ｃｏｒｅ邋ＭＩＤＩ为逡逑ＭＩＤＩ流和设备提供软件抽象工作层；Ｈｏｓｔ邋Ｔｉｍｅ邋Ｓｅｒｖｉｃｅｓ用于访问电脑硬件时钟。逡逑Ｍｉｄ－Ｌｅｖｅｌ层中的功能比较齐全，包括音频数据格式转换，音频文件读写，逡逑音频流解析

【参考文献】