基于无监督深度学习的红外与可见光图像融合方法研究
发布时间：2021-01-19 11:06
红外与可见光图像融合技术一直是图像融合领域研究热点之一。红外图像反映物体热辐射信息,对隐藏目标具有较强的指示特性。将其与分辨率高、场景纹理清晰的可见光图像融合,能够突出目标同时保持背景细节,有利于系统全天候工作,实现目标检测、跟踪、监控等任务。传统的红外与可见光图像融合方法发展较早,应用广泛。图像融合时,变换方式虽灵活,但活动水平测量及融合规则仍需人工手动设置,实现相对困难且模型不易调整。近年来,深度学习逐步应用到红外与可见光图像融合领域并取得较好效果。通过训练多层、深度神经网络学习数据间复杂关系,在损失函数约束下,能够自动提取图像特征信息后融合,实现更为简洁、智能化,且模型易于调整,适应性强。红外与可见光图像数据集中源图像较少,且没有标准的融合参考图像。目前应用的几种深度学习融合方法,大多需要在其他可见光数据集上进行预训练,且训练与测试模型不完全一致,无法实现输入源图像到输出源图像的端到端直接映射。这些有监督网络实现过程较复杂,且由于红外与可见光源图像并未参与网络训练,得到的融合模型泛化能力较差。针对上述相关问题,本文从无监督深度学习融合角度出发,在对原始数据集扩增基础上,提出并设计...
【文章来源】：中国科学院大学(中国科学院长春光学精密机械与物理研究所)吉林省
【文章页数】：133 页
【学位级别】：博士
【文章目录】：
摘要
Abstract
第1章 绪论
1.1 课题研究背景及意义
1.2 相关领域的研究现状
1.2.1 红外与可见光图像融合研究现状
1.2.2 深度学习网络模型发展现状
1.2.3 基于深度学习的图像融合研究现状
1.3 论文研究内容及章节安排
1.3.1 研究内容
1.3.2 章节安排
1.4 本章小结
第2章 深度学习与图像融合研究基础
2.1 深度神经网络结构
2.1.1 卷积神经网络
2.1.2 残差网络
2.1.3 密集连接网络
2.1.4 生成对抗网络
2.2 监督学习与无监督学习
2.2.1 监督学习
2.2.2 无监督学习
2.3 红外与可见光图像融合方法
2.3.1 传统融合方法
2.3.2 基于深度学习的融合方法
2.4 本章小结
第3章 基于深度无监督卷积神经网络的红外与可见光图像融合
3.1 深度无监督融合网络构建
3.2 损失函数设计与分析
3.2.1 感知损失设计
3.2.2 结构相似性损失设计
3.3 网络训练与测试
3.3.1 实验平台
3.3.2 数据集扩增
3.3.3 训练及测试细节
3.4 实验结果与分析
3.4.1 融合结果比较
3.4.2 网络模型分析
3.5 本章小结
第4章 基于生成对抗网络及残差网络的红外与可见光图像融合
4.1 深度无监督融合网络构建
4.1.1 对抗网络融合过程
4.1.2 生成器网络结构
4.1.3 判别器网络结构
4.2 损失函数设计与分析
4.2.1 生成器损失函数
4.2.2 判别器损失函数
4.3 网络训练与测试
4.4 实验结果与分析
4.4.1 融合结果比较
4.4.2 网络模型分析
4.5 本章小结
第5章 融合图像质量客观综合评价
5.1 概述
5.2 融合图像质量主观评价
5.3 融合图像质量客观评价
5.3.1 融合图像本身质量评价指标
5.3.2 融合图像与源图像关联性评价指标
5.4 多指标综合评价融合图像质量
5.4.1 评价指标体系构建
5.4.2 结果对比分析
5.5 本章小结
第6章 总结与展望
6.1 论文总结
6.2 创新性成果
6.3 研究展望
参考文献
致谢
作者简历及攻读学位期间发表的学术论文与研究成果
【参考文献】：
期刊论文
[1]基于NSCT-PCNN的多聚焦红外图像融合[J]. 岳静静,李茂忠,陈骥,罗永芳,胡志宇. 红外技术. 2017(09)
[2]一种基于稀疏表示的可见光与红外图像融合方法[J]. 张生伟,李伟,赵雪景. 电光与控制. 2017(06)
[3]基于OpenCV的红外与可见光图像实时融合系统[J]. 任贵文,贺行政,康荣学,李旭明. 单片机与嵌入式系统应用. 2017(04)
[4]利用红外与可见光图像融合测温技术实现设备异常状态预警[J]. 杨承,杨昕梅,李绍荣. 现代建筑电气. 2014(S1)
[5]基于压缩感知的红外与可见光图像融合算法[J]. 何国栋,石建平,冯友宏,谢小娟,杨凌云. 激光与红外. 2014(05)
[6]融合图像质量评价指标的相关性分析及性能评估[J]. 张小利,李雄飞,李军. 自动化学报. 2014(02)
[7]图像融合质量客观评价方法[J]. 高绍姝,金伟其,王岭雪,王吉晖,王霞. 应用光学. 2011(04)
[8]基于YUV空间色彩传递的可见光/热成像双通道彩色成像系统[J]. 史世明,王岭雪,金伟其,赵源萌. 兵工学报. 2009(01)
[9]基于YUV空间的双通道视频图像色彩传递及实时系统[J]. 王岭雪,史世明,金伟其,赵源萌,王生祥. 北京理工大学学报. 2007(03)
[10]基于TMS320C6x的双波段图象高速融合系统[J]. 王毅,倪国强,李勇量. 中国图象图形学报. 2002(10)
博士论文
[1]红外与红外偏振/可见光图像融合算法研究[D]. 朱攀.天津大学 2017
[2]红外与可见光图像融合技术研究[D]. 张蕾.中国科学院研究生院(长春光学精密机械与物理研究所) 2015
[3]红外与可见光图像融合算法研究[D]. 周渝人.中国科学院研究生院(长春光学精密机械与物理研究所) 2014
[4]红外与可见光的图像融合系统及应用研究[D]. 张宝辉.南京理工大学 2013
[5]微光与红外图像实时融合关键技术研究[D]. 田思.南京理工大学 2010
[6]基于多尺度经验模态分解的图像融合算法研究[D]. 郑有志.清华大学 2009
硕士论文
[1]红外图像和可见光图像融合方法及其在电力设备监测中的应用[D]. 师颖.西安理工大学 2018
[2]红外多波段图像融合算法研究[D]. 李朝阳.中国科学院大学(中国科学院光电技术研究所) 2018
[3]基于稀疏表示的红外与可见光图像融合方法研究[D]. 许晓伟.电子科技大学 2017
[4]红外与可见光图像融合方法研究[D]. 黄良学.重庆邮电大学 2016
[5]基于稀疏表示的图像融合方法研究[D]. 李锦兴.重庆大学 2015
本文编号：2986870
【文章来源】：中国科学院大学(中国科学院长春光学精密机械与物理研究所)吉林省
【文章页数】：133 页
【学位级别】：博士
【文章目录】：
摘要
Abstract
第1章 绪论
1.1 课题研究背景及意义
1.2 相关领域的研究现状
1.2.1 红外与可见光图像融合研究现状
1.2.2 深度学习网络模型发展现状
1.2.3 基于深度学习的图像融合研究现状
1.3 论文研究内容及章节安排
1.3.1 研究内容
1.3.2 章节安排
1.4 本章小结
第2章 深度学习与图像融合研究基础
2.1 深度神经网络结构
2.1.1 卷积神经网络
2.1.2 残差网络
2.1.3 密集连接网络
2.1.4 生成对抗网络
2.2 监督学习与无监督学习
2.2.1 监督学习
2.2.2 无监督学习
2.3 红外与可见光图像融合方法
2.3.1 传统融合方法
2.3.2 基于深度学习的融合方法
2.4 本章小结
第3章 基于深度无监督卷积神经网络的红外与可见光图像融合
3.1 深度无监督融合网络构建
3.2 损失函数设计与分析
3.2.1 感知损失设计
3.2.2 结构相似性损失设计
3.3 网络训练与测试
3.3.1 实验平台
3.3.2 数据集扩增
3.3.3 训练及测试细节
3.4 实验结果与分析
3.4.1 融合结果比较
3.4.2 网络模型分析
3.5 本章小结
第4章 基于生成对抗网络及残差网络的红外与可见光图像融合
4.1 深度无监督融合网络构建
4.1.1 对抗网络融合过程
4.1.2 生成器网络结构
4.1.3 判别器网络结构
4.2 损失函数设计与分析
4.2.1 生成器损失函数
4.2.2 判别器损失函数
4.3 网络训练与测试
4.4 实验结果与分析
4.4.1 融合结果比较
4.4.2 网络模型分析
4.5 本章小结
第5章 融合图像质量客观综合评价
5.1 概述
5.2 融合图像质量主观评价
5.3 融合图像质量客观评价
5.3.1 融合图像本身质量评价指标
5.3.2 融合图像与源图像关联性评价指标
5.4 多指标综合评价融合图像质量
5.4.1 评价指标体系构建
5.4.2 结果对比分析
5.5 本章小结
第6章 总结与展望
6.1 论文总结
6.2 创新性成果
6.3 研究展望
参考文献
致谢
作者简历及攻读学位期间发表的学术论文与研究成果
【参考文献】：
期刊论文
[1]基于NSCT-PCNN的多聚焦红外图像融合[J]. 岳静静,李茂忠,陈骥,罗永芳,胡志宇. 红外技术. 2017(09)
[2]一种基于稀疏表示的可见光与红外图像融合方法[J]. 张生伟,李伟,赵雪景. 电光与控制. 2017(06)
[3]基于OpenCV的红外与可见光图像实时融合系统[J]. 任贵文,贺行政,康荣学,李旭明. 单片机与嵌入式系统应用. 2017(04)
[4]利用红外与可见光图像融合测温技术实现设备异常状态预警[J]. 杨承,杨昕梅,李绍荣. 现代建筑电气. 2014(S1)
[5]基于压缩感知的红外与可见光图像融合算法[J]. 何国栋,石建平,冯友宏,谢小娟,杨凌云. 激光与红外. 2014(05)
[6]融合图像质量评价指标的相关性分析及性能评估[J]. 张小利,李雄飞,李军. 自动化学报. 2014(02)
[7]图像融合质量客观评价方法[J]. 高绍姝,金伟其,王岭雪,王吉晖,王霞. 应用光学. 2011(04)
[8]基于YUV空间色彩传递的可见光/热成像双通道彩色成像系统[J]. 史世明,王岭雪,金伟其,赵源萌. 兵工学报. 2009(01)
[9]基于YUV空间的双通道视频图像色彩传递及实时系统[J]. 王岭雪,史世明,金伟其,赵源萌,王生祥. 北京理工大学学报. 2007(03)
[10]基于TMS320C6x的双波段图象高速融合系统[J]. 王毅,倪国强,李勇量. 中国图象图形学报. 2002(10)
博士论文
[1]红外与红外偏振/可见光图像融合算法研究[D]. 朱攀.天津大学 2017
[2]红外与可见光图像融合技术研究[D]. 张蕾.中国科学院研究生院(长春光学精密机械与物理研究所) 2015
[3]红外与可见光图像融合算法研究[D]. 周渝人.中国科学院研究生院(长春光学精密机械与物理研究所) 2014
[4]红外与可见光的图像融合系统及应用研究[D]. 张宝辉.南京理工大学 2013
[5]微光与红外图像实时融合关键技术研究[D]. 田思.南京理工大学 2010
[6]基于多尺度经验模态分解的图像融合算法研究[D]. 郑有志.清华大学 2009
硕士论文
[1]红外图像和可见光图像融合方法及其在电力设备监测中的应用[D]. 师颖.西安理工大学 2018
[2]红外多波段图像融合算法研究[D]. 李朝阳.中国科学院大学(中国科学院光电技术研究所) 2018
[3]基于稀疏表示的红外与可见光图像融合方法研究[D]. 许晓伟.电子科技大学 2017
[4]红外与可见光图像融合方法研究[D]. 黄良学.重庆邮电大学 2016
[5]基于稀疏表示的图像融合方法研究[D]. 李锦兴.重庆大学 2015
本文编号：2986870
本文链接：https://www.wllwen.com/shoufeilunwen/xxkjbs/2986870.html
