基于Hi3559的全景拼接与行人检测系统软件研发
发布时间：2021-01-06 12:29
随着计算机技术的快速发展,视频监控系统越来越多地被应用在人们的日常生活中。传统的视频监控系统由于摄像头位置固定,能够获取的视野范围有限,且存在盲区,会留下潜在的安全隐患。另外,当视频画面内行人较多时,安保人员的监察效率会有所下降。通过视频拼接和目标检测技术,能够将多路有重叠区域的视频拼接成具有广阔视野的全景视频,并实时检测场景内的动目标,对于提升视频监控的效率具有重要意义。对此,本文研发了基于Hi3559的全景拼接与行人检测系统。系统采用模块化的设计思想,分为流媒体处理模块、视频拼接模块和行人检测模块。其中,流媒体处理模块负责三路视频数据的采集和预处理工作,并将算法处理后的全景视频数据编码后进行推送,供浏览器访问;视频拼接模块基于SURF算法实现视频图像的特征点提取,使用最近邻与次近邻算法实现特征点的匹配,并结合RANSAC算法对特征点进行提纯,最后基于最佳缝合线完成三路视频的融合,拼接过程使用开发板的AVS模块实现硬件加速。行人检测模块基于GMM检测前景运动目标,使用开发板的IVE模块实现GMM建模、前景检测、后处理、连通区域标定等操作及硬件加速。系统测试结果表明,该系统能够完成三路...
【文章来源】：浙江大学浙江省 211工程院校 985工程院校 教育部直属院校
【文章页数】：90 页
【学位级别】：硕士
【部分图文】：
图１－１传统监控改进方案??
浙江大学硕士学位论文?相关技术??图像Ａ采集——？图像Ａ预处理——??＾图像配准＿？图像融合一？输出图像??？??图像Ｂ采集一？图像Ｂ预处理——??图２－１图像拼接流程图??１）图像采集：通过摄像头等设备，获取输入图像数据，本文使用的视频采??集设备是ＩＭＸ３３４模组。??２）图像预处理：对输入图像进行去噪、曝光调整、畸变矫正等预处理工作，??为后续的图像配准做准备。预处理工作的好坏，影响后续图像拼接的速率和精确??程度。本文的图像采集和预处理工作都在流媒体处理模块的视频采集模块中完成。??３?）图像配准：图像配准就是将在不同时间或者不同视角下获取的多幅图像，??使用相关的图像配准算法对图像之间的重叠区域做处理，并计算用于将多幅图像??变换到同一坐标系下的变换矩阵，实现空间位置对齐的过程１４?５１。??４）图像融合：图像融合技术能够将配准后的多幅图像，拼接成一幅完整的??全景图像，并消除明显的拼接痕迹和嵬影等现象，使得图像整体更加平滑１４６１。??图像拼接的关键在于图像配准和图像融合。图像配准决定了图像拼接的准确??程度，图像融合决定了最后输出图像是否自然。下面对图像配准和图像融合做具??体介绍。??２．２．１图像配准??图像配准是通过提取图像的特征信息，如颜色、纹理等，对齐多幅图像的重??叠区域，并将不同视角下的多幅图像变换到同一平面下的过程。从数学角度讲，??普通的图像可以用二维矩阵进行表示，所以图像配准的目的就是计算出图像的变??换矩阵，实现多幅图像到同一坐标系下的变换。??变换矩阵能用来表征图像之间的几何变换关系，间接地表示相机的相对位置??关系。图像的几何变换关系可分为刚体变换、相似变换、仿射
浙江大学硕士学位论文?相关技术??变换可以用３＊３的透视变换矩阵完成，该变换矩阵也称单应性矩阵（Ｈｏｍｏｇｒａｐｈｙ??Ｍａｔｒｉｘ）。通过单应性矩阵，能够将不同视角下的图像变换到同一平面，为后续??图像融合做准备，其变换示意图如图２－２所示。??－?Ｏ＇?＾?－??．（議：〉Ｈ??ｐｂｎｏｉ?ｓｒｎｆａｃｃ??图２－２透视变换示意图??单应性矩阵Ｈ的表达式如式（２－１）所示：??■ａｌｌ?ａ１２?ａ１３＿??／／?＝?ａ２１?ａ２２?ａ２３?（２－１）??－ａ３１?ａ３２?ａ３３＿??其中Ｇ１１?，２１表示线性变换，比如缩放、剪切、旋转。丨￥３１用于平移，??Ｌａ２ｉ?ａ２２」?Ｌａ２３ｊ??［％ｉ?ａ３２］产生透视变换。??假设图像中对应点对的齐次坐标分别为１）和１），则透视变换的??通用变换公式如式（２－２）所示：??ａｌｌ?ａ１２?ａ１３＇??［ｘ＇?，ｙ＇，?１］?＝?［ｕ，Ｖ，?１］?＾２１?ａ２２?ａ２３?（２－２）??－ａ３１?ａ３２?ａ３３．??矩阵展开并代入之后可得变换后的图像坐标表示如式（２－３）所示：??ａｘｌｕ?＋?ａ２１ｖ?＋?ａ３ｉ??义，—???ａ１３ｕ?＋?ａ２３ｖ?＋?ａ３３??（２－３）??，ａ１２ｕ?＋?ａ２２ｖ?＋?ａ３２??—??ａ１３ｕ?＋?ａ２３ｖ?＋?ａ３３??由于使用的是齐次坐标系，所以可以进行任意尺度的缩放，对式（２－３）同时除??以以后，变换矩阵只剩下８个自由度，因此只需要４组对应点就可以唯一确??定一个透视变换的单应性矩阵模型。在实际的应用场景中，由于噪声等干扰因素??的存在，通常需要远大于４组的点对并结合其他算法
【参考文献】：
期刊论文
[1]基于视觉的目标检测与跟踪综述[J]. 尹宏鹏,陈波,柴毅,刘兆栋. 自动化学报. 2016(10)
[2]一种多路快速视频拼接系统设计与实现[J]. 吴健,兰时勇,黄飞虎. 计算机工程. 2014(02)
[3]基于SIFT特征检测的图像拼接优化算法研究[J]. 党建武,宗岩,王阳萍. 计算机应用研究. 2012(01)
本文编号：2960570
【文章来源】：浙江大学浙江省 211工程院校 985工程院校 教育部直属院校
【文章页数】：90 页
【学位级别】：硕士
【部分图文】：
图１－１传统监控改进方案??
浙江大学硕士学位论文?相关技术??图像Ａ采集——？图像Ａ预处理——??＾图像配准＿？图像融合一？输出图像??？??图像Ｂ采集一？图像Ｂ预处理——??图２－１图像拼接流程图??１）图像采集：通过摄像头等设备，获取输入图像数据，本文使用的视频采??集设备是ＩＭＸ３３４模组。??２）图像预处理：对输入图像进行去噪、曝光调整、畸变矫正等预处理工作，??为后续的图像配准做准备。预处理工作的好坏，影响后续图像拼接的速率和精确??程度。本文的图像采集和预处理工作都在流媒体处理模块的视频采集模块中完成。??３?）图像配准：图像配准就是将在不同时间或者不同视角下获取的多幅图像，??使用相关的图像配准算法对图像之间的重叠区域做处理，并计算用于将多幅图像??变换到同一坐标系下的变换矩阵，实现空间位置对齐的过程１４?５１。??４）图像融合：图像融合技术能够将配准后的多幅图像，拼接成一幅完整的??全景图像，并消除明显的拼接痕迹和嵬影等现象，使得图像整体更加平滑１４６１。??图像拼接的关键在于图像配准和图像融合。图像配准决定了图像拼接的准确??程度，图像融合决定了最后输出图像是否自然。下面对图像配准和图像融合做具??体介绍。??２．２．１图像配准??图像配准是通过提取图像的特征信息，如颜色、纹理等，对齐多幅图像的重??叠区域，并将不同视角下的多幅图像变换到同一平面下的过程。从数学角度讲，??普通的图像可以用二维矩阵进行表示，所以图像配准的目的就是计算出图像的变??换矩阵，实现多幅图像到同一坐标系下的变换。??变换矩阵能用来表征图像之间的几何变换关系，间接地表示相机的相对位置??关系。图像的几何变换关系可分为刚体变换、相似变换、仿射
浙江大学硕士学位论文?相关技术??变换可以用３＊３的透视变换矩阵完成，该变换矩阵也称单应性矩阵（Ｈｏｍｏｇｒａｐｈｙ??Ｍａｔｒｉｘ）。通过单应性矩阵，能够将不同视角下的图像变换到同一平面，为后续??图像融合做准备，其变换示意图如图２－２所示。??－?Ｏ＇?＾?－??．（議：〉Ｈ??ｐｂｎｏｉ?ｓｒｎｆａｃｃ??图２－２透视变换示意图??单应性矩阵Ｈ的表达式如式（２－１）所示：??■ａｌｌ?ａ１２?ａ１３＿??／／?＝?ａ２１?ａ２２?ａ２３?（２－１）??－ａ３１?ａ３２?ａ３３＿??其中Ｇ１１?，２１表示线性变换，比如缩放、剪切、旋转。丨￥３１用于平移，??Ｌａ２ｉ?ａ２２」?Ｌａ２３ｊ??［％ｉ?ａ３２］产生透视变换。??假设图像中对应点对的齐次坐标分别为１）和１），则透视变换的??通用变换公式如式（２－２）所示：??ａｌｌ?ａ１２?ａ１３＇??［ｘ＇?，ｙ＇，?１］?＝?［ｕ，Ｖ，?１］?＾２１?ａ２２?ａ２３?（２－２）??－ａ３１?ａ３２?ａ３３．??矩阵展开并代入之后可得变换后的图像坐标表示如式（２－３）所示：??ａｘｌｕ?＋?ａ２１ｖ?＋?ａ３ｉ??义，—???ａ１３ｕ?＋?ａ２３ｖ?＋?ａ３３??（２－３）??，ａ１２ｕ?＋?ａ２２ｖ?＋?ａ３２??—??ａ１３ｕ?＋?ａ２３ｖ?＋?ａ３３??由于使用的是齐次坐标系，所以可以进行任意尺度的缩放，对式（２－３）同时除??以以后，变换矩阵只剩下８个自由度，因此只需要４组对应点就可以唯一确??定一个透视变换的单应性矩阵模型。在实际的应用场景中，由于噪声等干扰因素??的存在，通常需要远大于４组的点对并结合其他算法
【参考文献】：
期刊论文
[1]基于视觉的目标检测与跟踪综述[J]. 尹宏鹏,陈波,柴毅,刘兆栋. 自动化学报. 2016(10)
[2]一种多路快速视频拼接系统设计与实现[J]. 吴健,兰时勇,黄飞虎. 计算机工程. 2014(02)
[3]基于SIFT特征检测的图像拼接优化算法研究[J]. 党建武,宗岩,王阳萍. 计算机应用研究. 2012(01)
本文编号：2960570
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/2960570.html
最近更新
教材专著
