基于卷积神经网络的图像去方块与多光谱图像融合及上色的研究

发布时间：2020-03-28 10:57

【摘要】：随着媒体技术和信息网络的发展,数字电视视系统和显示设备对图像信号的质量要求越来越高。海量的原始数据经压缩后能够方便的用于传输和存储,然而高压缩率不可避免地造成信息损失。低码率下的解码图像会产生严重的模糊和块效应,大大降低了图像质量。压缩图像后处理是一项针对压缩后严重失真的图像,去除压缩产生的人工痕迹的关键技术。在图像成像方面,随着传感系统的发展,近红外光谱图像得到广泛的应用。在诸多应用场景下,例如夜景拍照和安全监控等,低光照条件下的多光谱图像融合成为可行的解决方案。低光照下的可见光拍照设备受噪声干扰,同一场景下的近红外图像能够提供不同光谱图像的细节。为了得到高质量的融合结果,研究人员已经开展了诸多多光谱图像图像融合算法的研究。当黑暗得环境中普通相机无法获取信息,只有单通道的近红外图像辅助视觉时,为近红外图像上色能够更符合人眼的视觉感知。近红外图像上色技术能够更好地辅助场景理解和信息分析。随着计算机科学飞速发展,深度学习在图像处理领域展现出强大的能力。本文基于相关的工作,针对压缩图像去块效应和近红外与可见光图像融合及近红外图像上色技术技术进行了研究。本文的主要工作在以下几个方面:1.提出了梯度引导的压缩图像去方块算法。基于块的独立编码导致压缩图像的块效应,由于没有考虑编码块间的相关性,图像在块边缘的梯度产生明显的变化。先前的工作致力于恢复网络的构建而没有考虑了压缩图像的先验信息。我们在图像恢复过程中同时恢复图像梯度。图像和梯度的恢复由两个协作的子网络完成。在梯度恢复中生成的特征在图像恢复子网络中融合以引导压缩图像的恢复。通过梯度子网络特征引导,图像恢子网络去除了压缩图像中的模糊和块效应并产生良好的细节信息。2.提出了基于卷积神经网络的近红外图像和可见光图像的融合算法。不同于传统图像融合算法,我们将卷积神经网络成功应用于近红外图像和可见光图像的融合。受限于不同光照场景数据集的拍摄难度,我们用正常光照条件的数据集下合成了可用的训练集。我们构建了一个两级网络分别用于去噪和融合,并采用多级聚合结构以融合多尺度信息。为了使融合结果保留可见光图像的原始颜色和近红外图像丰富的细节,我们提出两种损失函数:感知损失函数和多光谱损失函数。通过两个损失函数项的最佳权重,融合结果消除了低光照产生的噪声,并正确保留原始图像颜色,同时包含丰富的纹理信息。3.提出基于卷积神经网络的近红外图像上色算法。近红外图像上色是一个具有挑战性的问题,尽管与传统灰度图上色方法有相似之处,但是近红外上色技术需要克服多光谱图像与单通道亮度图像的结构差异性,恢复出三通道的彩色图片。我们采用能够有效利用多尺度信息的网络模型作为基本卷积单元,成功恢复出近红外图像的颜色。我们提出了使用结构相似性作为损失函数,为了进一步优化上色结果,我们在梯度阈对输出约束以去除平坦区域的嘈杂纹理。实验结果表明,我们的网络结构有良好的性能表现,提出的损失函数能够很好地应用于近红外图像的上色问题。
【学位授予单位】：西安电子科技大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;TP183

【相似文献】

相关期刊论文 前10条

1 赵莉苹;庄玉册;;高频超声射频图像梯度信息盲提取仿真研究[J];计算机仿真;2019年12期

2 赵丽花;植赐佳;;基于图像梯度的印刷品缺陷检测算法研究[J];科技风;2011年06期

3 姜太平;魏宗斌;潘祥;邰伟鹏;;基于梯度纹理描绘子的雾图像判别方法[J];苏州科技大学学报(自然科学版);2017年04期

4 边子健;覃文军;刘积仁;赵大哲;;肺部CT图像中的解剖结构分割方法综述[J];中国图象图形学报;2018年10期

5 程大骞;付文智;陈东杰;王慕冰;陈彦;李朝荣;;基于图像梯度的透镜成像清晰度评估系统[J];物理与工程;2018年05期

6 罗鑫;张亚军;;基于图像梯度差值算法的自动快速调焦[J];工具技术;2016年04期

7 朱庆永;彭玺;王珊珊;梁栋;;基于参考图像梯度方向先验的压缩感知磁共振快速成像[J];集成技术;2016年03期

8 杨朝霞,逯峰,李岳生;图像梯度与散度计算及在边缘提取中的应用[J];中山大学学报(自然科学版);2002年06期

9 张玲艳;闫丽;王大凯;;图像梯度分类的概率模型及在边缘检测中的应用[J];计算机工程与应用;2010年18期

10 喻恒;胡海峰;耿则勋;;图像梯度引导的窗口形状自适应双边滤波[J];计算机应用与软件;2019年12期

相关会议论文 前6条

1 王端秀;徐磊;隋国荣;;基于FPGA的形态学图像梯度算法实现[A];第六届全国信息获取与处理学术会议论文集（2）[C];2008年

2 陈杰春;赵丽萍;郭鸣;;角点检测不确定度评定方法[A];中国光学学会2010年光学大会论文集[C];2010年

3 杜建洪;梁子长;;车辆走向定位技术的研究[A];通信理论与信号处理新进展——2005年通信理论与信号处理年会论文集[C];2005年

4 毛贵超;宋利权;靳民会;;基于灰度冗余的红外图像局部对比度增强方法[A];第九届全国光电技术学术交流会论文集（上册）[C];2010年

5 肖鹏峰;冯学智;赵书河;佘江峰;;基于相位一致梯度的高分辨率遥感图像分水岭分割[A];中国地理学会2006年学术年会论文摘要集[C];2006年

6 贾义臣;伍铁如;;基于梯度光顺和直接插值的无缝即时图像克隆[A];第六届全国几何设计与计算学术会议论文集[C];2013年

相关博士学位论文 前10条

1 王振松;CT图像头颈部组织器官分割方法研究[D];电子科技大学;2019年

2 朱婷婷;图像通用隐秘分析方法研究[D];武汉大学;2015年

3 童蓓蕾;基于变分法的图像复原算法研究[D];中国科学技术大学;2018年

4 徐莹莹;基于生物图像的蛋白质亚细胞定位及其动态转移检测[D];上海交通大学;2017年

5 张大龙;基于数据驱动的图像局部特征表达方法研究[D];浙江大学;2018年

6 陈阳;基于不同先验获取的PET图像优质重建新方法研究[D];第一军医大学;2007年

7 郝聚涛;血管造影图像统计分割研究[D];上海交通大学;2007年

8 戴百生;基于彩色视网膜图像的眼底病相关目标检测方法研究[D];哈尔滨工业大学;2016年

9 陈磊;基于层级结构信息的生物细胞图像分析方法[D];浙江工业大学;2017年

10 耿英楠;立体匹配技术的研究[D];吉林大学;2014年

相关硕士学位论文 前10条

1 冯佳伟;基于卷积神经网络的图像去方块与多光谱图像融合及上色的研究[D];西安电子科技大学;2019年

2 刘静;基于压缩感知的磁共振图像重建方法研究[D];北京交通大学;2019年

3 曹宇思;云环境下密文图像检索系统研究[D];中南林业科技大学;2019年

4 刘波;基于光照分解的本征图像提取算法研究[D];上海交通大学;2016年

5 倪旭彬;基于语义网络的图像信息表征和视觉推理[D];电子科技大学;2019年

6 于虎;基于局部二值模式的图像特征提取技术[D];河南理工大学;2018年

7 辛亮亮;基于局部二值模式的图像特征描述方法研究[D];重庆邮电大学;2019年

8 张晨;人脸图像的色素区域检测方法研究[D];重庆邮电大学;2019年

9 黄兴森;基于深度学习的图像隐私感知算法研究[D];哈尔滨工业大学;2019年

10 黄一珉;基于深度学习模型与联合优化的单幅图像去雾算法研究[D];大连理工大学;2019年

，

本文编号：2604355