面向移动拍摄平台的视频稳像方法研究
发布时间：2022-01-14 21:49
随着智能手机、无人机等移动拍摄平台的快速发展,移动拍摄设备用于视频采集的比例越来越大,视频稳像成为了热门的研究问题。由于移动拍摄平台的灵活性,其所采集视频往往伴随幅度较大的随机抖动、视角变换、前景遮挡等情况。而现有的视频稳像修复技术存在全局运动矢量估计不准确、图像修复效果不佳等问题。为了解决这些问题,本文在深入研究视频稳像修复技术的基础上,提出了运动估计和运动补偿修复方法的改进,同时设计并实现了面向移动拍摄平台的视频稳像修复原型系统。本文主要研究工作包括以下内容:（1）提出了一种基于参考帧优选和前后景特征点分离的运动估计算法,以提升全局运动矢量估计精度。首先以相邻帧优先为原则进行参考帧选取方式优化,而后通过网格聚类和密度聚类算法融合的方式对视频帧中的特征点进行聚类和初步的筛选,最后利用随机采样一致性算法求取最优单应矩阵,结合透视投影变换与距离准则进一步提纯,获得准确的背景特征点对用于计算全局运动矢量。实验表明该算法可以有效提高全局运动矢量精度、提升稳像修复效果。（2）提出了一种基于时序网络预测与金字塔融合的运动补偿修复算法,以改善缺损修复部分图像质量不高、图像拼接处不自然等情况。首先自...
【文章来源】：江苏大学江苏省
【文章页数】：72 页
【学位级别】：硕士
【部分图文】：
移动平台拍摄的图像序列之间关系示意图
江苏大学工程硕士学位论文25点的网格，即idHn为true的网格数量超过阈值T，则判定当前窗口b中包含特征点的网格单元都属于簇，并将那些网格单元的对应属性idSt置为true，其余空白网格单元对应idSt置为false。若滑动窗口b内包含特征点的网格数量小于阈值T，则当前窗口b中的网格单元的idSt属性都置为false，同时将下一次的滑动步长设置为3个网格单元。（4）扫描过程按照步骤（3）中的规则进行，直至所有网格单元的属性都被赋值true或者false。所有idSt的值为true的网格单元中包含的特征点即为聚类出的结果。图3.7展示的是结合网格的DBSCAN聚类效果示意图。由于DBSCAN聚类算法特性，部分特征点被算法作为噪声剔除，最终的聚类结果为如图中所示的3个簇。经过大量实验，算法只保留3个最终包含网格单元数最多的簇（内的特征点）。系统对保留下的特征点（对）用于后续的算法中。结合网格的DBSCAN聚类算法对特征点进行了初步的筛选，在一定程度上提高了后续算法的效率。图3.7结合网格的DBSCAN聚类为3个簇效果示意图3.2.3误匹配剔除得到了初步筛选出的特征点对后，下一步就需要对特征点对进行进一步的过滤，以确保最终剩下的都是背景特征点对。在视频稳像方法中常用的去除误匹配方法是由Fischler等人[59]提出的随机抽样一致性算法（RANSAC）。该算法从一组数据集中，通过若干次的随机抽样，迭代估算出满足该数据集的最优模型参数矩阵，适用于包含噪声点的样本数据集。RANSAC算法具有鲁棒性强和耗时短的优点，而缺点是RANSAC算法效果在一定范围迭代次数内与结果成正比，但若设置迭代次数的上限，并不一定得到最优的结果。本章考虑到RANSAC算法的优缺点以及实际去除误匹配效果，并考虑到实际的算法效率，通过对RANSAC
江苏大学工程硕士学位论文53存储模块具体实现步骤为：（1）对从视频输入模块（仅限采用接入摄像头获取视频的方式）、轨迹平滑模块和视频图像修复模块的视频缓存至临时文件夹。（2）判定原型系统是否处于断电、无响应等突发状态。若判定是，跳过后续步骤，保留缓存文件等待用户后续处理。（3）由用户对文件的保留与否进行确认。若选择是，则将缓存的视频文件转存至指定文件夹。5.3实验结果5.3.1视频输入功能展示图5.8是系统的主界面，通过按钮来选择使用的视频输入方式。选择视频源输入方式后，系统会以弹出对应方式的界面供用户进行后续操作。图5.8系统主界面选择了“读取摄像头”方式后，系统会调用默认的摄像头持续读取视频并显示在原始视频对应的框中，如图5.9所示。若系统检测不到摄像头则会弹出提示窗，并不能进入摄像头方式界面。下方控制区中的“切换摄像头”按钮在系统检测不到其他摄像头时不可用。
【参考文献】：
期刊论文
[1]结合网格密度聚类的行人检测候选域生成[J]. 成科扬,周博文,李世超,孙爽. 中国图象图形学报. 2019(09)
[2]电子稳像算法的速度与精度改进[J]. 董常青,程雪岷,郝群. 计算机辅助设计与图形学学报. 2018(08)
[3]基于卷积神经网络的视频图像超分辨率重建方法[J]. 刘村,李元祥,周拥军,骆建华. 计算机应用研究. 2019(04)
[4]基于自适应补偿的电子稳像方法[J]. 尹丽华,李范鸣,刘士建. 激光与红外. 2017(11)
[5]结合最佳缝合线和多分辨率融合的图像拼接[J]. 谷雨,周阳,任刚,冯秋晨,鲁国智. 中国图象图形学报. 2017(06)
[6]在反卷积网络中引入数值解可视化卷积神经网络[J]. 俞海宝,沈琦,冯国灿. 计算机科学. 2017(S1)
[7]基于下采样灰度投影的电子稳像算法研究[J]. 范叶平,郭政,张锐. 工矿自动化. 2017(04)
[8]基于特征匹配与运动补偿的视频稳像算法[J]. 唐佳林,郑杰锋,李熙莹,苏秉华. 计算机应用研究. 2018(02)
[9]一种用于实时数字稳像的全分辨率运动补偿方法[J]. 翟博,郑锦,王越. 北京航空航天大学学报. 2016(04)
[10]一种自动计算参数的多密度网格聚类算法[J]. 李光兴,唐俊,易林,徐彬. 计算机与数字工程. 2014(07)
博士论文
[1]基于特征提取与匹配的车载电子稳像方法研究[D]. 熊晶莹.中国科学院长春光学精密机械与物理研究所 2017
[2]航空光电稳定平台扰动抑制技术的研究[D]. 李贤涛.中国科学院研究生院(长春光学精密机械与物理研究所) 2014
硕士论文
[1]基于DSP的实时电子稳像与目标跟踪技术研究[D]. 何逍阳.大连理工大学 2019
[2]基于尺度空间的无人机影像实时稳像方法研究[D]. 葛林.东北林业大学 2019
[3]基于特征点匹配的电子稳像算法研究及其硬件实现[D]. 杨启航.西安理工大学 2018
[4]基于聚类分析和卡尔曼滤波的电子稳像研究[D]. 李想.湖北工业大学 2018
[5]全景电子稳像中全局运动估计及运动滤波方法研究[D]. 任正玮.长春理工大学 2017
[6]多视点视频的三维重建和显示[D]. 乔晓田.浙江大学 2016
[7]实时电子稳像技术研究[D]. 王晓东.北京理工大学 2015
[8]基于特征光流的电子稳像技术研究[D]. 刘广龙.哈尔滨工业大学 2015
[9]基于块匹配和局部子空间的视频稳像方法研究[D]. 李棱铱.大连理工大学 2015
[10]数字稳像算法研究[D]. 乐国庆.中国科学院研究生院(长春光学精密机械与物理研究所) 2014
本文编号：3589268
【文章来源】：江苏大学江苏省
【文章页数】：72 页
【学位级别】：硕士
【部分图文】：
移动平台拍摄的图像序列之间关系示意图
江苏大学工程硕士学位论文25点的网格，即idHn为true的网格数量超过阈值T，则判定当前窗口b中包含特征点的网格单元都属于簇，并将那些网格单元的对应属性idSt置为true，其余空白网格单元对应idSt置为false。若滑动窗口b内包含特征点的网格数量小于阈值T，则当前窗口b中的网格单元的idSt属性都置为false，同时将下一次的滑动步长设置为3个网格单元。（4）扫描过程按照步骤（3）中的规则进行，直至所有网格单元的属性都被赋值true或者false。所有idSt的值为true的网格单元中包含的特征点即为聚类出的结果。图3.7展示的是结合网格的DBSCAN聚类效果示意图。由于DBSCAN聚类算法特性，部分特征点被算法作为噪声剔除，最终的聚类结果为如图中所示的3个簇。经过大量实验，算法只保留3个最终包含网格单元数最多的簇（内的特征点）。系统对保留下的特征点（对）用于后续的算法中。结合网格的DBSCAN聚类算法对特征点进行了初步的筛选，在一定程度上提高了后续算法的效率。图3.7结合网格的DBSCAN聚类为3个簇效果示意图3.2.3误匹配剔除得到了初步筛选出的特征点对后，下一步就需要对特征点对进行进一步的过滤，以确保最终剩下的都是背景特征点对。在视频稳像方法中常用的去除误匹配方法是由Fischler等人[59]提出的随机抽样一致性算法（RANSAC）。该算法从一组数据集中，通过若干次的随机抽样，迭代估算出满足该数据集的最优模型参数矩阵，适用于包含噪声点的样本数据集。RANSAC算法具有鲁棒性强和耗时短的优点，而缺点是RANSAC算法效果在一定范围迭代次数内与结果成正比，但若设置迭代次数的上限，并不一定得到最优的结果。本章考虑到RANSAC算法的优缺点以及实际去除误匹配效果，并考虑到实际的算法效率，通过对RANSAC
江苏大学工程硕士学位论文53存储模块具体实现步骤为：（1）对从视频输入模块（仅限采用接入摄像头获取视频的方式）、轨迹平滑模块和视频图像修复模块的视频缓存至临时文件夹。（2）判定原型系统是否处于断电、无响应等突发状态。若判定是，跳过后续步骤，保留缓存文件等待用户后续处理。（3）由用户对文件的保留与否进行确认。若选择是，则将缓存的视频文件转存至指定文件夹。5.3实验结果5.3.1视频输入功能展示图5.8是系统的主界面，通过按钮来选择使用的视频输入方式。选择视频源输入方式后，系统会以弹出对应方式的界面供用户进行后续操作。图5.8系统主界面选择了“读取摄像头”方式后，系统会调用默认的摄像头持续读取视频并显示在原始视频对应的框中，如图5.9所示。若系统检测不到摄像头则会弹出提示窗，并不能进入摄像头方式界面。下方控制区中的“切换摄像头”按钮在系统检测不到其他摄像头时不可用。
【参考文献】：
期刊论文
[1]结合网格密度聚类的行人检测候选域生成[J]. 成科扬,周博文,李世超,孙爽. 中国图象图形学报. 2019(09)
[2]电子稳像算法的速度与精度改进[J]. 董常青,程雪岷,郝群. 计算机辅助设计与图形学学报. 2018(08)
[3]基于卷积神经网络的视频图像超分辨率重建方法[J]. 刘村,李元祥,周拥军,骆建华. 计算机应用研究. 2019(04)
[4]基于自适应补偿的电子稳像方法[J]. 尹丽华,李范鸣,刘士建. 激光与红外. 2017(11)
[5]结合最佳缝合线和多分辨率融合的图像拼接[J]. 谷雨,周阳,任刚,冯秋晨,鲁国智. 中国图象图形学报. 2017(06)
[6]在反卷积网络中引入数值解可视化卷积神经网络[J]. 俞海宝,沈琦,冯国灿. 计算机科学. 2017(S1)
[7]基于下采样灰度投影的电子稳像算法研究[J]. 范叶平,郭政,张锐. 工矿自动化. 2017(04)
[8]基于特征匹配与运动补偿的视频稳像算法[J]. 唐佳林,郑杰锋,李熙莹,苏秉华. 计算机应用研究. 2018(02)
[9]一种用于实时数字稳像的全分辨率运动补偿方法[J]. 翟博,郑锦,王越. 北京航空航天大学学报. 2016(04)
[10]一种自动计算参数的多密度网格聚类算法[J]. 李光兴,唐俊,易林,徐彬. 计算机与数字工程. 2014(07)
博士论文
[1]基于特征提取与匹配的车载电子稳像方法研究[D]. 熊晶莹.中国科学院长春光学精密机械与物理研究所 2017
[2]航空光电稳定平台扰动抑制技术的研究[D]. 李贤涛.中国科学院研究生院(长春光学精密机械与物理研究所) 2014
硕士论文
[1]基于DSP的实时电子稳像与目标跟踪技术研究[D]. 何逍阳.大连理工大学 2019
[2]基于尺度空间的无人机影像实时稳像方法研究[D]. 葛林.东北林业大学 2019
[3]基于特征点匹配的电子稳像算法研究及其硬件实现[D]. 杨启航.西安理工大学 2018
[4]基于聚类分析和卡尔曼滤波的电子稳像研究[D]. 李想.湖北工业大学 2018
[5]全景电子稳像中全局运动估计及运动滤波方法研究[D]. 任正玮.长春理工大学 2017
[6]多视点视频的三维重建和显示[D]. 乔晓田.浙江大学 2016
[7]实时电子稳像技术研究[D]. 王晓东.北京理工大学 2015
[8]基于特征光流的电子稳像技术研究[D]. 刘广龙.哈尔滨工业大学 2015
[9]基于块匹配和局部子空间的视频稳像方法研究[D]. 李棱铱.大连理工大学 2015
[10]数字稳像算法研究[D]. 乐国庆.中国科学院研究生院(长春光学精密机械与物理研究所) 2014
本文编号：3589268
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3589268.html
最近更新
教材专著
