基于时空优化的视频去抖算法研究
发布时间：2021-07-24 23:06
近些年来,随着智能设备的普及和发展,使用便携式相机拍摄各种视频已经成为人们日常生活中不可或缺的一部分。这些拍摄的视频除了记录日常生活,也有一些被用于执行一些复杂任务,如目标跟踪、物体识别等。但是由于条件或者使用场景的限制,这些相机往往缺乏配套的稳像设备,因而造成拍摄的视频中常伴随剧烈的抖动。这种抖动不仅会造成视频质量的下降和观看者的不适,也会影响基于这些视频执行其他后续任务,因此对抖动视频进行去抖具有十分重要的意义。同时这也是目前一个非常热门的研究方向。目前,针对一般场景的视频去抖问题已经有了一些较好的解决方法,但是这些现有算法在处理包含复杂场景的视频时常常会出现去抖性能的下降甚至失效的情况。这些复杂场景包括大前景运动物体、强视差和多动态前景遮挡造成的不连续景深变化等。本文针对上述挑战进行了深入的研究分析,并分别提出了具有针对性的算法。这些算法通过建立包含时间约束项和空间约束项的优化函数（即时空优化函数）进行视频稳定视角下的位置估计。归纳起来,本文的主要工作和研究成果有如下三点:1)提出了一种结合前景背景特征轨迹的视频去抖算法。本算法主要解决包含大前景和强视差场景视频的去抖问题。最典型...
【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校
【文章页数】：106 页
【学位级别】：博士
【部分图文】：
图２．１生成对抗网络示意图
的视频去抖相比，交通视频去抖具有以下几个难点：??？由于摄像头是安装在移动的车辆上的，因此其会遭受比手持相机拍摄的视??频更强的抖动和更高的抖动频率［２＼９４１。??？交通视频中往往存在若干大前景物体，例如移动的汽车等。这些前景在视??频帧中占比很大，因此此类视频无法直接使用仅基于背景轨迹进行抖动估??计和平滑的方法进行有效的稳定［２５］。??？在交通视频中，视差是一种常见现象并会产生明显的景深变化，这对于一??般传统方法具有较大的挑战性２５１。??现有的绝大部分视频去抖算法都需要首先区分前景区域和背景区域，然后利??用背景区域进行相机运动估计和平滑。典型的现有方法［１７￣２５?４１］的流程如图３．１所??
?第３章结合前景背景特征轨迹的视频去抖算法???Ｐ?＾?ｆｆ，?＾?Ｐ??￣￣■?〇－?????〇—?￣〇＿＿＿．????＂，??Ｐ??．．．?ｔ－２?ｔ－１?ｔ?ｔ＋１?ｔ＋２?．．．??图３．３抖动特征轨迹Ｐ与其对应的稳定特征轨迹Ｐ之间的变换矩阵。??１．相似的相机抖动：在第ｆ帧中，所有的特征轨迹包含相似的相机抖动Ｊ，。??２．相似的同源运动：当两条特征轨迹户，和￥来自于同一物体，即同一前景物??体或背景时，它们包含的主动运动（即和｛义，，｝，）相似。??３．轨迹平滑性：对于给定的特征轨迹尸；，其稳定视角下的轨迹月应该具有缓??慢平滑的帧间运动，即不同帧间的巧，＋１?－?应该变化缓慢。??因此ｆ在第？帧的稳定视角可以通过求解以下优化问题得到：??？?ｍｉｎ?〇（｛＾．，｝），?（３．７）??｛＾＞ｉ，）＾，友ｅ｛，＿？，…，，，…，，十Ｗ?｝??其中??〇｛｛Ｐｕｋ｝）?＝?〇ｌ＋〇２?＋?〇，?＋?〇Ａ，?（３．８）??＝?Ｅ?月厂？Ｈ巧厂？）丨丨２，??ｋｅＣ２ｔ?ｉｊｅｓ??％?＝?Ｚ?Ｉ＞，，Ｍ丨丨（月厂月，卜１）－（匕－＾－１）丨｜２，??ｋＧＱｔ?ｉｊＥ＾Ｓ??巴３?＝?ｓ?ｉｘ』（ｎ）－（ｎ）＂２，??ｍ＾ｎＥＱｊ?ｉＧＳ??ａ?＝?Ｚ５＞（心－？）丨丨２，??ｋｓ￡２ｊ?ｉ＾Ｓ??其中■０，是在第／帧的滤波窗口，５■表示在第ｒ帧中连续的特征轨迹的集合。（＾Ｍ，??爲＃，＜，？，｜＾是权重参数。＇＾通常被设置为砧＝｛〖－？，一，〖，？，７?＋?？｝。因此在??第ｒ帧，我们需要通过设置《帧的延迟得到｛」Ｐ；ｖ＋１，．“，ｉ＾＋Ｊ。在第／帧，我
【参考文献】：
期刊论文
[1]Robust camera pose estimation by viewpoint classification using deep learning[J]. Yoshikatsu Nakajima,Hideo Saito. Computational Visual Media. 2017(02)
[2]基于SIFT特征匹配的实时鲁棒视频去抖动系统[J]. 於俊,汪增福. 系统工程与电子技术. 2014(02)
[3]电子稳像技术综述[J]. 王志民,徐晓刚. 中国图象图形学报. 2010(03)
[4]移动机器人视频稳定方法的研究[J]. 高彤,李瑞峰,孙立宁. 哈尔滨工业大学学报. 2007(09)
博士论文
[1]复杂运动场景的交通视频消抖算法研究[D]. 邓思斌.中国科学技术大学 2017
[2]复杂交通场景中运动目标智能监控[D]. 严金丰.中国科学技术大学 2014
硕士论文
[1]手机高清视频实时稳像算法研究与实现[D]. 魏雪巍.北方工业大学 2018
本文编号：3301611
【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校
【文章页数】：106 页
【学位级别】：博士
【部分图文】：
图２．１生成对抗网络示意图
的视频去抖相比，交通视频去抖具有以下几个难点：??？由于摄像头是安装在移动的车辆上的，因此其会遭受比手持相机拍摄的视??频更强的抖动和更高的抖动频率［２＼９４１。??？交通视频中往往存在若干大前景物体，例如移动的汽车等。这些前景在视??频帧中占比很大，因此此类视频无法直接使用仅基于背景轨迹进行抖动估??计和平滑的方法进行有效的稳定［２５］。??？在交通视频中，视差是一种常见现象并会产生明显的景深变化，这对于一??般传统方法具有较大的挑战性２５１。??现有的绝大部分视频去抖算法都需要首先区分前景区域和背景区域，然后利??用背景区域进行相机运动估计和平滑。典型的现有方法［１７￣２５?４１］的流程如图３．１所??
?第３章结合前景背景特征轨迹的视频去抖算法???Ｐ?＾?ｆｆ，?＾?Ｐ??￣￣■?〇－?????〇—?￣〇＿＿＿．????＂，??Ｐ??．．．?ｔ－２?ｔ－１?ｔ?ｔ＋１?ｔ＋２?．．．??图３．３抖动特征轨迹Ｐ与其对应的稳定特征轨迹Ｐ之间的变换矩阵。??１．相似的相机抖动：在第ｆ帧中，所有的特征轨迹包含相似的相机抖动Ｊ，。??２．相似的同源运动：当两条特征轨迹户，和￥来自于同一物体，即同一前景物??体或背景时，它们包含的主动运动（即和｛义，，｝，）相似。??３．轨迹平滑性：对于给定的特征轨迹尸；，其稳定视角下的轨迹月应该具有缓??慢平滑的帧间运动，即不同帧间的巧，＋１?－?应该变化缓慢。??因此ｆ在第？帧的稳定视角可以通过求解以下优化问题得到：??？?ｍｉｎ?〇（｛＾．，｝），?（３．７）??｛＾＞ｉ，）＾，友ｅ｛，＿？，…，，，…，，十Ｗ?｝??其中??〇｛｛Ｐｕｋ｝）?＝?〇ｌ＋〇２?＋?〇，?＋?〇Ａ，?（３．８）??＝?Ｅ?月厂？Ｈ巧厂？）丨丨２，??ｋｅＣ２ｔ?ｉｊｅｓ??％?＝?Ｚ?Ｉ＞，，Ｍ丨丨（月厂月，卜１）－（匕－＾－１）丨｜２，??ｋＧＱｔ?ｉｊＥ＾Ｓ??巴３?＝?ｓ?ｉｘ』（ｎ）－（ｎ）＂２，??ｍ＾ｎＥＱｊ?ｉＧＳ??ａ?＝?Ｚ５＞（心－？）丨丨２，??ｋｓ￡２ｊ?ｉ＾Ｓ??其中■０，是在第／帧的滤波窗口，５■表示在第ｒ帧中连续的特征轨迹的集合。（＾Ｍ，??爲＃，＜，？，｜＾是权重参数。＇＾通常被设置为砧＝｛〖－？，一，〖，？，７?＋?？｝。因此在??第ｒ帧，我们需要通过设置《帧的延迟得到｛」Ｐ；ｖ＋１，．“，ｉ＾＋Ｊ。在第／帧，我
【参考文献】：
期刊论文
[1]Robust camera pose estimation by viewpoint classification using deep learning[J]. Yoshikatsu Nakajima,Hideo Saito. Computational Visual Media. 2017(02)
[2]基于SIFT特征匹配的实时鲁棒视频去抖动系统[J]. 於俊,汪增福. 系统工程与电子技术. 2014(02)
[3]电子稳像技术综述[J]. 王志民,徐晓刚. 中国图象图形学报. 2010(03)
[4]移动机器人视频稳定方法的研究[J]. 高彤,李瑞峰,孙立宁. 哈尔滨工业大学学报. 2007(09)
博士论文
[1]复杂运动场景的交通视频消抖算法研究[D]. 邓思斌.中国科学技术大学 2017
[2]复杂交通场景中运动目标智能监控[D]. 严金丰.中国科学技术大学 2014
硕士论文
[1]手机高清视频实时稳像算法研究与实现[D]. 魏雪巍.北方工业大学 2018
本文编号：3301611
本文链接：https://www.wllwen.com/shoufeilunwen/xxkjbs/3301611.html
