城市视频监控网络中车辆搜索关键技术研究
发布时间：2020-08-28 12:38
车辆是城市视频监控系统中重要的目标。近年来,监控视频中车辆相关的研究逐渐成为热点,如车辆检测、车辆跟踪、车辆分类、车牌识别等。车辆搜索,即给定一个查询车辆,在城市视频监控网络中搜索与其身份相同的车辆,可以帮助管理人员快速准确地在城市中寻找、定位、跟踪目标车辆。然而,车辆搜索面临“搜不准”和“搜得慢”两大挑战。“搜不准”,一方面是由于车辆自身外观的相似性和多样性,另一方面是由于无约束城市监控中多变的环境因素。“搜得慢”,不仅是由于城市监控视频巨大的数据规模,而且由于车辆多模态特征的复杂性。因此,本文针对城市视频监控网络提出了一种融合多模态数据的渐进式车辆搜索框架,并从车辆外观特征的表示与学习、车辆唯一标识即车牌的有效利用、监控网络中时空关系的挖掘三个方面提出了一系列方法与模型。通过在城市监控数据上的大量实验,我们验证了所提出框架与方法的准确性与高效性。本文的主要贡献具体如下:(1)融合多模态数据的渐进式车辆搜索框架。该框架综合特征域和时空域进行逐步求精地搜索,具体来说:一是特征域内由粗到精地搜索,即先采用外观特征快速查找相似车辆,再使用车牌信息实现精确搜索;二是在时空域内,利用监控网络中的时空信息由近及远地搜索。实验分析表明,这种渐进式搜索框架不仅能够显著降低车辆搜索的时间消耗,同时保证了车辆搜索的准确性。(2)基于车辆外观特征的相似车辆搜索方法。针对抓拍图像和视频两种查询数据,我们分别提出了两种基于深度卷积神经网络(Convolutional Neural Network,CNN)的车辆外观表示方法:NuFACT 和 CAN。NuFACT方法能够从抓拍车辆图像中提取车辆的纹理、颜色、类别等多级特征,并通过零空间度量学习将上述特征融合为一种具有区分力的、鲁棒的特征。CAN方法能够提取视频中多张图像的共有信息和互补信息,自动学习视角不变性特征,增强了车辆外观特征的区分力和鲁棒性。(3)车牌图像超分辨率与验证结合的精确车辆搜索方法。针对无约束监控环境中低质的车牌图像,我们提出了一种基于域先验生成对抗网络的图像超分辨率方法进行车牌图像增强。针对监控数据中车辆数量很大而每个车辆样本较少的问题,本文采用一种基于对偶神经网络(Siamese Neural Network,SNN)的车牌验证方法,实现了车牌图像的快速准确匹配。通过将车牌增强与验证结合,进一步提高了车辆搜索的准确性。(4)基于邻接图与时空相似度模型的搜索结果重排序。通过挖掘城市监控网络中的时空信息,如车辆被拍摄的时间、摄像头的位置、摄像头邻接关系等,我们设计了一种摄像头邻接图模型表示视频监控网络的空间拓扑,提出了一种基于多层感知机的时空相似度模型(Spatio-Temporal Similarity Model,STSM),通过STSM估计车辆间的时空相似性对搜索结果进行重排序,得到优化的车辆搜索结果。最后,我们构建了一个融合多模态数据的渐进式车辆搜索原型系统,并在真实视频监控数据上验证了上述框架与方法的有效性。
【学位单位】：北京邮电大学
【学位级别】：博士
【学位年份】：2018
【中图分类】：TN948.6
【部分图文】：
车辆搜索逡逑辆搜索（Ｖｅｈｉｃｌｅ邋Ｓｅａｒｃｈ），是指输入一个查询车辆描述（包括属性、车频等），并指定搜索时间段与空间范围，在大规模城市视频监控网络中辆身份相同的车辆？如图１－１所示，车辆搜索系统能够告知用户目标车出现：通过车辆搜索，交通管理部门可以快速、准确、便捷地在海量中发现、定位、跟踪目标车辆因此，本文以城市视频监控网络为背景，为目标的物理实体搜索问题中关键技术．：逡逑面，本节将从车辆搜索的系统结构、基本特点、主要研究内容三个方绍。逡逑车辆搜索系统结构逡逑图１－２所示，？个典型的车辆搜索系统通常由视频监控网络、车辆搜部分构成，，其中，视频监控网络是感知物理世界的基础设施，在车辆
车辆搜索等不同粒度的搜索服务逡逑为保证城市视频监控网络中车辆稍Ｉ索的高效性、准确性、安全性，车辆搜索系统逡逑遵循渐进式的搜索模式，如图１－２所示：具体米说，在用户层面，系统根据权限的由逡逑低到高，提供不同粒度、不同安全级R%的搜索方式和搜索结果在特征空间中，车逡逑辆搜索采用由粗到精地方式，即在车辆匹配时先采用车辆外形、
逡逑图１－２邋面向城市视频监控网络的车辆搜索系统基本结构逡逑搜索服务逡逑系统的工作流程主要包括三个步骤：逡逑？视频监控网络通过部署在城市中的摄像头检测、跟踪拍摄到的车辆，并将车辆逡逑图像、时间戳、空间位置等倍息实时发送到数据中心进行存储和处理；逡逑？部署ｆ数据屮心的搜索引擎接收到阁像和T 空信息等多模态数据后，提S胃觯В惧义系氖泳跆卣鳌⒊蹬菩畔ⅰ⑹笨涨榫靶畔ⅲ⒏萆鲜鲂畔⒔⒍嗉端饕迪皱义细咝Ъ焖鳎诲义希坑没ü突Ф说锹疾⒎梦仕阉飨低常淙胱ヅ耐枷瘛⒂镆迕枋觥⒊蹬坪怕搿㈠义鲜笨招畔⒌炔檠畔ⅲ低掣萦没ㄏ蓿没峁┫嗨瞥盗舅阉鳌⒕峰义铣盗舅阉鞯炔煌６鹊乃阉鞣皴义衔Ｖこ鞘惺悠导嗫赝缰谐盗旧裕伤鞯母咝浴⒆既沸浴踩裕盗舅阉飨低冲义献裱ソ降乃阉髂Ｊ剑缤迹保菜荆壕咛迕姿担谟没Р忝妫低掣萑ㄏ薜挠慑义系偷礁
本文编号：2807585
【学位单位】：北京邮电大学
【学位级别】：博士
【学位年份】：2018
【中图分类】：TN948.6
【部分图文】：
车辆搜索逡逑辆搜索（Ｖｅｈｉｃｌｅ邋Ｓｅａｒｃｈ），是指输入一个查询车辆描述（包括属性、车频等），并指定搜索时间段与空间范围，在大规模城市视频监控网络中辆身份相同的车辆？如图１－１所示，车辆搜索系统能够告知用户目标车出现：通过车辆搜索，交通管理部门可以快速、准确、便捷地在海量中发现、定位、跟踪目标车辆因此，本文以城市视频监控网络为背景，为目标的物理实体搜索问题中关键技术．：逡逑面，本节将从车辆搜索的系统结构、基本特点、主要研究内容三个方绍。逡逑车辆搜索系统结构逡逑图１－２所示，？个典型的车辆搜索系统通常由视频监控网络、车辆搜部分构成，，其中，视频监控网络是感知物理世界的基础设施，在车辆
车辆搜索等不同粒度的搜索服务逡逑为保证城市视频监控网络中车辆稍Ｉ索的高效性、准确性、安全性，车辆搜索系统逡逑遵循渐进式的搜索模式，如图１－２所示：具体米说，在用户层面，系统根据权限的由逡逑低到高，提供不同粒度、不同安全级R%的搜索方式和搜索结果在特征空间中，车逡逑辆搜索采用由粗到精地方式，即在车辆匹配时先采用车辆外形、
逡逑图１－２邋面向城市视频监控网络的车辆搜索系统基本结构逡逑搜索服务逡逑系统的工作流程主要包括三个步骤：逡逑？视频监控网络通过部署在城市中的摄像头检测、跟踪拍摄到的车辆，并将车辆逡逑图像、时间戳、空间位置等倍息实时发送到数据中心进行存储和处理；逡逑？部署ｆ数据屮心的搜索引擎接收到阁像和T 空信息等多模态数据后，提S胃觯В惧义系氖泳跆卣鳌⒊蹬菩畔ⅰ⑹笨涨榫靶畔ⅲ⒏萆鲜鲂畔⒔⒍嗉端饕迪皱义细咝Ъ焖鳎诲义希坑没ü突Ф说锹疾⒎梦仕阉飨低常淙胱ヅ耐枷瘛⒂镆迕枋觥⒊蹬坪怕搿㈠义鲜笨招畔⒌炔檠畔ⅲ低掣萦没ㄏ蓿没峁┫嗨瞥盗舅阉鳌⒕峰义铣盗舅阉鞯炔煌６鹊乃阉鞣皴义衔Ｖこ鞘惺悠导嗫赝缰谐盗旧裕伤鞯母咝浴⒆既沸浴踩裕盗舅阉飨低冲义献裱ソ降乃阉髂Ｊ剑缤迹保菜荆壕咛迕姿担谟没Р忝妫低掣萑ㄏ薜挠慑义系偷礁
本文编号：2807585
本文链接：https://www.wllwen.com/kejilunwen/xinxigongchenglunwen/2807585.html
