面向全天候智能监控的行人重识别系统研究

发布时间：2020-06-09 10:23

【摘要】：随着智能监控的发展,产生了大量的监控数据,通过人工去查看,效率很低且准确率难以保证,利用行人重识别的方法对监控数据分析可以克服这些缺点,因而在近年越来越受到重视。但是多数行人重识别方法关注可见光图像,而可见光图像在不良照明情况下缺失信息,难以做到对监控场景的全天候监控,此外,多数研究关注于行人重识别算法本身,而对行人重识别系统中的行人检测研究较少。本文将红外图像和可见光图像结合,研究了全天候行人重识别系统的相关理论和方法,主要工作如下。1.研究了将红外图像和可见光图像结合的多光谱行人检测方法。以YOLO v3目标检测框架为基础,设计了中期融合的网络结构对红外图像和可见光图像进行融合,通过两个不同的卷积神经网络分支分别对红外图像和可见光图像进行特征提取,为了提高全天候场景的行人检测效果,针对红外图像在夜晚场景下成像较好,可见光图像在白天场景下成像较好的特点,引入光照信息感知子网络对经过双分支网络提取的特征进行学习,得到光照信息权重,在三个尺度上用光照信息权重对分类和回归分数进行加权。最后通过在KAIST数据集上实验得到了29.13%的丢失率和0.21s的运行时间,与其它算法对比,本章方法在精度略高的情况下运行时间减少了0.27s,检测效果和运行效率较好。2.研究了红外行人图像和可见光行人图像的跨模态行人重识别方法。针对红外图像和可见光图像这两种不同模态在特征上差异大的问题,采用Res Net-50残差网络作为骨干网络,设计了双路网络来对红外图像和可见光图像进行特征提取,并通过共享卷积层参数对红外图像和可见光图像的不同模态信息学习;为了解决同一行人在不同模态下的距离大于不同行人在同一模态的距离的问题,在行人重识别排序损失的基础上,引入了跨模态的排序损失和模态内的排序损失,为了进一步利用行人的身份信息,使用行人的身份损失进行约束。最后通过实验验证本章方法在SYSU-MM01和Reg DB数据集上的Top20命中概率分别达到了81.8%和74.81%,m AP分别达到了26.49%和35.32%,取得了较好的重识别效果。3.设计并实现了全天候智能监控的行人重识别系统。为了验证上述算法在全天候场景下的应用效果,设计并实现了由行人检测模块和行人重识别模块组成的行人重识别系统。所设计的系统以Py Torch机器学习库和Open CV计算机视觉算法库为基础,使用C++/Python语言编程;系统读取摄像头视频或保存的监控图像后,依次经过多光谱行人检测模块和跨模态行人重识别模块处理,得到最终的行人重识别结果,验证了所实现的系统完成了全天候监控系统的功能。
【图文】：

Haar特征

图 2.1 Haar 特征[8]这样，对任意位置计算任意尺寸的像素之和时，可以= ( ) + ( ) ( ) ( ) ,D 属于原始图像 I，如图 2.2 所示为了利用 Haar dt[58]提出了倾斜的哈尔特征以及倾斜积分图结构，，。
【学位授予单位】：西安电子科技大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;TN219

【相似文献】

相关期刊论文 前10条

1 邢志勇;肖儿良;;多网络联合的红外与可见光图像融合算法研究[J];包装工程;2019年23期

2 李钢;王雷;张仁斌;;基于特征能量加权的红外与可见光图像融合[J];光电工程;2010年03期

3 杨勇;刘家祥;黄淑英;张迎梅;吴嘉骅;李露奕;;卷积自编码融合网络的红外可见光图像融合[J];小型微型计算机系统;2019年12期

4 郭全民;董亮;李代娣;;红外与可见光图像融合的汽车抗晕光系统[J];红外与激光工程;2017年08期

5 刘坤;郭雷;李晖晖;陈敬松;;基于区域分割的红外与可见光图像融合算法的研究(英文)[J];Chinese Journal of Aeronautics;2009年01期

6 叶传奇;王宝树;苗启广;;一种基于区域特性的红外与可见光图像融合算法[J];光子学报;2009年06期

7 胡谋法;李超;王书宏;;空时域联合差分检测可见光图像的运动小目标[J];计算机工程与应用;2006年21期

8 江静;张雪松;兰西柱;;红外与可见光图像互信息法自动配准算法研究[J];华北科技学院学报;2006年04期

9 刘明君;董增寿;;基于多特征的红外与可见光图像融合[J];激光杂志;2019年10期

10 周哓玲;江泽涛;;结合脉冲耦合神经网络与引导滤波的红外与可见光图像融合[J];光学学报;2019年11期

相关会议论文 前10条

1 余萍;张晓芬;;基于变分模型的红外/可见光图像配准方法研究[A];2009全国虚拟仪器大会论文集（二）[C];2009年

2 赵云丰;付冬梅;尹怡欣;王嘉;;基于人工免疫的红外与可见光图像配准方法[A];2008'中国信息技术与应用学术论坛论文集（二）[C];2008年

3 高阳;苗艳龙;李寒;张漫;;基于热红外与可见光图像的马铃薯水分胁迫监测[A];2018中国作物学会学术年会论文摘要集[C];2018年

4 王远施;卫明;王德建;;基于冠层可见光图像的水稻氮素营养诊断[A];土壤科学与生态文明（上册）——中国土壤学会第十三次全国会员代表大会暨第十一届海峡两岸土壤肥料学术交流研讨会论文集[C];2016年

5 张晓杰;;基于循环平移的复Contourlet域红外与可见光图像融合[A];上海市红外与遥感学会第十九届学术年会论文集[C];2014年

6 胡谋法;李超;王书宏;韩建涛;陈曾平;;可见光图像背景灰度特性:双高斯混合分布模型[A];第十二届全国信号处理学术年会（CCSP-2005）论文集[C];2005年

7 蒋宏;任章;;红外与可见光图像配准和融合中的关键技术[A];2006年全国光电技术学术交流会会议文集（D 光电信息处理技术专题）[C];2006年

8 程相正;邵铭;张乐;胡启立;;几种可见光图像与红外图像融合方法比较[A];2015光电防御技术学术研讨会摘要集[C];2015年

9 胡谋法;王书宏;李超;韩建涛;陈曾平;;空时域联合去相关检测可见光背景下的运动小目标[A];光电技术与系统文选——中国光学学会光电技术专业委员会成立二十周年暨第十一届全国光电技术与系统学术会议论文集[C];2005年

10 杨振鹏;冯勤;王行仁;丁莹;;虚拟环境红外物理模型的研究与实现[A];二○○一年中国系统仿真学会学术年会论文集[C];2001年

相关重要报纸文章 前3条

1 陈磊;风云二号C星第一幅可见光图像成功获取[N];中国气象报;2004年

2 记者 宿东;风云二号E星成功获取第一张可见光图像[N];中国航天报;2009年

3 ;江门局有效提高旅检速度[N];中国国门时报;2007年

相关博士学位论文 前10条

1 刘战文;基于非下采样剪切波变换的红外与可见光图像融合算法研究[D];西北工业大学;2018年

2 沈瑜;基于多尺度几何分析的红外与可见光图像融合方法研究[D];兰州交通大学;2017年

3 陈艳菲;视觉显著性计算及其在红外与可见光图像融合中的应用[D];华中科技大学;2017年

4 梁怀丹;空间遥感红外与可见光图像快速配准算法研究[D];中国科学院大学(中国科学院长春光学精密机械与物理研究所);2019年

5 李巍;光学复合仿生视觉关键技术研究[D];北京邮电大学;2019年

6 朱攀;红外与红外偏振/可见光图像融合算法研究[D];天津大学;2017年

7 周渝人;红外与可见光图像融合算法研究[D];中国科学院研究生院(长春光学精密机械与物理研究所);2014年

8 赵振兵;电气设备红外与可见光图像的配准方法研究[D];华北电力大学（河北）;2009年

9 宋怀波;低质量可见光图像的处理技术和识别方法研究[D];山东大学;2009年

10 左羽佳;机载光电平台红外与可见光图像融合系统关键技术研究[D];中国科学院长春光学精密机械与物理研究所;2017年

相关硕士学位论文 前10条

1 孔琼卓;红外与可见光图像融合方法研究[D];华中科技大学;2019年

2 李良骥;红外和可见光异分辨率遥感图像配准技术研究[D];中国科学院大学(中国科学院上海技术物理研究所);2019年

3 王焕清;基于NSCT多尺度变换的红外与可见光图像处理研究[D];福州大学;2018年

4 刘雪莹;基于图像结构保持的红外与可见光图像融合算法研究[D];云南大学;2019年

5 胡嘉慧;基于可见光图像形态和色度特征的介质阻挡放电均匀性研究[D];华中科技大学;2019年

6 章立;可见光图像弱小目标的检测与跟踪研究[D];西安科技大学;2018年

7 董轩;基于可见光图像色度和发射光谱的交流沿面放电研究[D];华中科技大学;2019年

8 谢沈阳;紫外光和可见光图像融合方法的研究[D];华北电力大学;2019年

9 石聪聪;基于改进SIFT的SAR与可见光图像配准方法研究[D];合肥工业大学;2019年

10 史涛;基于显著性分析与分层联合低秩表示的红外与可见光图像融合[D];西安电子科技大学;2019年

本文编号：2704551