基于边缘增强和深度学习的图像超分辨率重建方法研究

发布时间：2020-08-12 20:15

【摘要】：数字图像的分辨率表示图像系统所能分辨的最小目标尺寸,若同一场景的图像像素密度越高,则图像的分辨率就越高,所包含的细节信息就越丰富。在图像成像过程中,由于受到成像硬件、拍摄环境及拍摄误差等因素的限制,造成了原始场景中的细节信息丢失,采集到的图像的分辨率往往无法满足实际的应用需求。图像超分辨率是一种采用软件方式增加图像细节信息的方法,无需更新硬件即可提高图像的清晰度,在遥感与遥测、高清电视转换、医学图像处理及视频监控等领域有着广泛的应用,是图像处理技术研究的重点之一。本论文研究的重点是基于插值及学习的图像超分辨率方法。论文对超分辨率重建理论及方法进行了深入地分析与研究,阐述了径向基函数插值、梯度提升及卷积神经网络等相关理论基础,旨在将径向基函数及泛化能力强的学习算法应用到图像超分辨率重建中,在保护放大图像的边缘和纹理细节的同时引入高频信息,从而生成视觉效果较好的放大图像。论文针对不同的应用需求分别提出了三种不同的图像超分辨率算法:(1)基于局部区域自适应的图像插值方法;(2)基于梯度提升的图像超分辨率方法;(3)基于深度可分离卷积的图像超分辨率方法。最后,利用自然图像及磁共振图像对这三种算法的超分辨率重建能力进行了验证。本论文的主要内容有:1)提出了一个局部区域自适应的图像插值方法。该方法首先采用LPA-ICI算法搜索待插值点的最优形状邻域,然后利用径向基函数拟合待插值点像素值。论文进一步使用了引导图像滤波来增强插值图像的边缘及纹理细节,提升了图像的视觉效果。该方法具有算法简单、模型无需训练等优点,适用于无训练数据下的图像超分辨率应用。2)针对传统的基于学习的超分辨率算法的泛化能力较弱,重建图像的误差较大的问题,本论文将梯度提升引入到超分辨率重建中。首先,本论文将梯度提升框架扩充成多输出的形式,使用决策树作为弱学习器,采用序列方式训练决策树,以减小模型的偏差及方差;其次,使用了缩减(shrinkage)策略来提高模型的泛化能力,同时采用子抽样(subsampling)减少了训练样本数目,在加快训练速度的同时降低决策树之间的相关性;最后,在测试时将每棵决策树独立预测的结果进行线性加权,生成高分辨率图像。实验结果证实了本文算法比传统的基于学习的超分辨率算法更精确,重建图像的细节也更加清晰。该方法使用较小的训练集就能获得较高的超分辨率性能,训练速度也相对较快,因此适用于基于较小训练集的图像超分辨率应用。3)针对深度超分辨率算法存在的复杂度较高、难以训练及收敛速度慢等问题,本论文设计了一个基于深度可分离卷积的超分辨率模型。首先,模型中使用深度可分离卷积层替代常规卷积层,并去掉了归一化层,减少了网络的参数量;其次,该方法直接在低分辨率图像中提取特征,然后使用转置卷积将低分辨率特征映射到高分辨率特征空间,进一步降低模型的复杂度;并且,模型中使用了密集跳层连接和残差网络结构来提高其鲁棒性;最后,本论文设计了大量的实验来选择模型的超参数,包括模块的数目、模块内卷积层的数目等。实验数据表明本文的算法具有较强的泛化能力,重建图像的客观评价指标及视觉效果相比其它算法更优。该算法适用于基于较大训练集且对准确度要求较高的图像超分辨率的应用。
【学位授予单位】：华中科技大学
【学位级别】：博士
【学位授予年份】：2019
【分类号】：TP391.41;TP18
【图文】：

16图 2-1 超分辨率重建的图像退化模型Fig 2-1 The degradation model for image super resolution

图 2-2 基于学习的超分辨率重建算法一般过程Fig 2-2 The general process of learning based super resolution reconstruction algorithm述训练过程可形式化叙述如下。设学习的模型为函数 ： ，

4]。如前所述，图像降质过程不可避免地会造成高频信息丢失，对于输入的低分像，将会有多幅高分辨率图像与之相对应。因此由低分辨率图像重建高分辨一个病态问题。基于学习的超分辨率算法利用学习到的端到端的低-高分辨射关系，通过借用其它高分辨率图像的高频信息来恢复低分辨率图像对应的率图像，将超分辨率重建转化为适定问题。 决策树与卷积神经网络在机器学习算法中，梯度提升是最具鲁棒性的算法之一[110-113]，在许多极具应用中都取得了很好的效果[114]；深度学习[101-103,109]也是当今预测准确性最能力最强的机器学习算法之一。下面介绍与本论文的研究工作相关的学习模策树（Decision Tree，DT）[95,96,97]与卷积神经网络[100,109]。在后续的章节中对这两个模型进行改进，使之适合于处理图像超分辨率。

【相似文献】

相关期刊论文 前10条

1 李昂;宋晓莹;;基于生成对抗网络的遥感图像超分辨率重建[J];光学与光电技术;2019年06期

2 孙旭;李晓光;李嘉锋;卓力;;基于深度学习的图像超分辨率复原研究进展[J];自动化学报;2017年05期

3 曾凯;丁世飞;;图像超分辨率重建的研究进展[J];计算机工程与应用;2017年16期

4 沈焕锋;李平湘;张良培;王毅;;图像超分辨率重建技术与方法综述[J];光学技术;2009年02期

5 丁海勇;卞正富;;数字图像超分辨率重构技术研究[J];计算机与数字工程;2007年10期

6 孔玲莉,黄华,齐春,刘美娟;图像超分辨率研究的最新进展[J];光学技术;2004年03期

7 张清勇;陈智勇;骆潇原;;基于生成网络的遥感图像超分辨率的研究[J];实验室研究与探索;2019年03期

8 王威;张彤;王新;;用于图像超分辨率重构的深度学习方法综述[J];小型微型计算机系统;2019年09期

9 谢雪晴;;基于残差密集网络的单幅图像超分辨率重建[J];计算机应用与软件;2019年10期

10 李昂;;基于对抗神经网络和语义分割技术的图像超分辨率系统的研发和应用[J];有线电视技术;2019年11期

相关会议论文 前10条

1 林国强;王博;孔英会;胡启杨;;基于压缩感知的变电站巡检图像超分辨率重建[A];第37届中国控制会议论文集（F）[C];2018年

2 姜倩茹;白煌;;基于双字典设计的图像超分辨率重构[A];信号处理在生仪2014学术年会论文集[C];2014年

3 杨浩;高建坡;陈向东;吴镇扬;;利用示例图像获取先验知识的图像超分辨率重建算法[A];第一届中国高校通信类院系学术研讨会论文集[C];2007年

4 张东;韩军;;图像超分辨率重建算法研究[A];2010年西部光子学学术会议摘要集[C];2010年

5 阮小燕;陈向宁;高孟男;;基于相位相关法与小波变换的图像超分辨率重建[A];中国电子学会第十六届信息论学术年会论文集[C];2009年

6 张煜东;吴乐南;奚吉;王水花;;变长小生境算法用于图像超分辨率复原[A];2009年通信理论与信号处理学术年会论文集[C];2009年

7 闫允一;郭宝龙;;基于小波的图像超分辨率重建算法研究[A];第三届全国数字成像技术及相关材料发展与应用学术研讨会论文摘要集[C];2004年

8 张琼;付怀正;沈民奋;;基于稀疏表示的彩色图像超分辨率重建算法[A];第十五届全国图象图形学学术会议论文集[C];2010年

9 姚林;;基于双边滤波插值图像超分辨率重建算法研究[A];云南省测绘地理信息学会2015年学术年会论文集[C];2015年

10 韩玉兵;殷玮玮;吴乐南;;基于Wavelet-HMM的图像超分辨率重建[A];第一届建立和谐人机环境联合学术会议（HHME2005）论文集[C];2005年

相关重要报纸文章 前2条

1 记者 刘肖勇 蔡敏霞 通讯员 严PrPr;一套算法让模糊低清小视频变高清[N];广东科技报;2019年

2 本报见习记者 丁宁宁 通讯员 严PrPr;一套算法夺四项冠军[N];中国科学报;2019年

相关博士学位论文 前10条

1 李莹华;基于压缩感知的图像处理方法及应用研究[D];西安电子科技大学;2019年

2 王新华;面向复杂场景的图像处理技术若干问题研究及其在计算光学成像系统中的应用[D];吉林大学;2019年

3 熊东平;基于边缘增强和深度学习的图像超分辨率重建方法研究[D];华中科技大学;2019年

4 邱康;基于机器学习的图像超分辨率重建关键技术研究[D];武汉大学;2018年

5 张凤珍;分离字典优化及其在图像处理中的应用[D];北京交通大学;2018年

6 肖斐;图像超分辨率与基于目标模型的目标识别方法研究[D];华中科技大学;2017年

7 唐永亮;单幅图像超分辨率重建方法研究[D];重庆大学;2018年

8 岳波;基于学习的图像超分辨率重建方法研究[D];西安电子科技大学;2018年

9 孙镱诚;基于压缩感知的图像超分辨率重建方法研究[D];南京理工大学;2018年

10 魏烨;单幅图像超分辨率重建方法及其视觉位移测量应用研究[D];中国科学技术大学;2019年

相关硕士学位论文 前10条

1 杨雯t

本文编号：2790971