基于深度学习的单幅图像超分辨重建算法研究
发布时间：2021-01-04 02:21
图像超分辨重建技术因其可以方便快速地将低分辨率图像高效高质地重建为高分辨率图像而备受关注,在遥感成像、医学影像处理、视频监控等领域有广泛应用。由于计算机硬件的发展和训练算法的进步,深度学习具有强大的处理大量非结构化数据的能力。近年来,基于深度学习的单幅图像超分辨重建技术取得了较大进展。但是,考虑到任务自身的难点以及主客观评价指标的差异,已有研究成果与实际应用间还存在差距。因此,本文针对基于深度学习的单幅图像超分辨重建算法进行了深入研究,并提出了三种不同的解决方案。本文主要工作概括如下:首先,对单幅图像超分辨重建相关文献进行了回顾,对基于学习的相关工作进行了分类与总结,按照神经网络结构和优化目标函数两个方向,介绍了其中代表性工作,并对解决思路与关键算法进行梳理。其次,针对传统的单幅图像超分辨重建任务,构建了一种多尺度残差模块,在此基础上提出了一种基于多尺度深度残差网络的单幅图像超分辨重建算法MSCDR。多尺度残差块采用双通道设置,分别包含1×1卷积核和3×3卷积核,既拓展网络宽度又扩大网络感受野,可以增强网络的非线性表达能力,并且有利于提取更多的细节特征。移除批规范化层,从而节约计算资源...
【文章来源】：东南大学江苏省 211工程院校 985工程院校 教育部直属院校
【文章页数】：98 页
【学位级别】：硕士
【部分图文】：
ILSVRC历年冠军算法的分类误差率比较
东南大学硕士学位论文可以发现这些梯度值会有一系列的连乘操作，当网络层数增加时，梯度会在传播过程中逐渐消失，进而无法避免地就没法再对之前的各层网络的权重进行行之有效的调整了。图2.2链式法则示意图采用这种残差模块的方案，还有一个优势就是可以从根本上避免了梯度消失现象的产生。同样在图2.1(a)当中，设第l个残差层的输入特征为xl，F为残差函数，Wl是与第l个残差层相关的权重，f是捷径连接相加之后的操作，此处采用的是Relu激活函数，I为恒等映射，I(xl)=xl，那么残差模块内部具有如公式2.2和公式2.3所示的关系：yl=I(xl)+F(xl,ωl)(2.2)xl+1=f(yl)(2.3)当f也是恒等映射时，即xl+1≡yl时，可以得到递推公式2.4，继而得到公式2.5。xl+1=xl+F(xl,ωl)xl+2=xl+1+F(xl+1,ωl+1)...xL=xL1+F(xL1,ωL1)(2.4)xL=xl+L1∑i=lF(xi,ωi)(2.5)从公式2.5中可以看出，对于第L个残差块的输入可以用其中一个浅层的残差块l的输入加上它们之间所有的残差函数之和来表示；对于第L个残差块，其输入就可以直接用初始残差块的输入再加上之前一系列的残差模块输出的总和，即xL=x0+∑L1i=0F(xi,ωi)。另外，假设损失函数为ε，通过上述的反向传播的链式法则可以计算出公式2.6：εxl=εxLxLxl=εxL(1+xlL1∑i=lF(xi,ωi))(2.6)在传统神经网络的结构中，第L层的输入特征xL是一系列各自权重与输入特征的乘积，即∏L1i=0Wix0。由公式2.6可知，传统网络中反向传播时产生的矩阵向量连乘被一系列残差函数结果的累加所取代，这就意味着造成梯度消失的根本原因已经被避免了。上述整个推导过程有一个前提条件，就是I(xl)=xl和xl+1=
第二章基于深度残差网络的单幅图像超分辨重建2.3基于多尺度深度残差网络的单幅图像超分辨重建2.3.1多尺度联合亚像素卷积深度残差网络本章提出的多尺度联合亚像素卷积深度残差网络(MultiscaleSubpixelConvolution-basedDeepResnet,MSCDR)，其具体架构如图2.5所示。首先在残差块部分级联了32个如图2.14所示的多尺度残差模块，接着通过捷径连接，直接将低层次的输入特征图与当前获得的高层次特征图相加。将多个层次信息融合，既可以防止网络的梯度消失，也可以增强判别信息的能力。我们采用亚像素卷积的方式，将从低分辨率空间中产生的特征图通过周期性筛选，重置得到预测高分辨率输出图像ISR。图2.5多尺度联合亚像素卷积深度残差网络与VDSR算法不同，其虽然使用多尺度图像作为训练集，但网络仅能提取输入图像在单一尺度上的特征，实际上无法充分挖掘输入的多尺度图像在不同尺度间隐藏的信息。MSCDR采用多通道的形式，利用多尺度残差模块，对于每个输入图像内部多个尺度的特征，利用网络以挖掘潜在的更加丰富的细节特征，可以为提高图像的重建质量做贡献。在传统方案和SRCNN算法中，对于图像的上采样主要有两种方案。一种是Osendor-fer等人[71]采用的在网络中间逐渐提高图像分辨率。另一种方案，先采用双三次插值对输入的低分辨率图像进行上采样，将其放大至与期望输出图像相同尺寸后作为网络的输入数据，因而整个训练过程始终是处于高分辨率空间中，这必然增加计算的复杂性。卷积网络的处理速度直接取决于输入图像的分辨率，这必然会使网络的训练时间增加。其次，插值方案不会带来额外信息以弥补重建问题中的不足。本章提出的MSCDR算法采用亚像素卷积层，在低分辨率空间中进行网络训练，具体将在2.3.2节和2.3.3节中介绍。多尺度残差模块主要有三个
本文编号：2955954
【文章来源】：东南大学江苏省 211工程院校 985工程院校 教育部直属院校
【文章页数】：98 页
【学位级别】：硕士
【部分图文】：
ILSVRC历年冠军算法的分类误差率比较
东南大学硕士学位论文可以发现这些梯度值会有一系列的连乘操作，当网络层数增加时，梯度会在传播过程中逐渐消失，进而无法避免地就没法再对之前的各层网络的权重进行行之有效的调整了。图2.2链式法则示意图采用这种残差模块的方案，还有一个优势就是可以从根本上避免了梯度消失现象的产生。同样在图2.1(a)当中，设第l个残差层的输入特征为xl，F为残差函数，Wl是与第l个残差层相关的权重，f是捷径连接相加之后的操作，此处采用的是Relu激活函数，I为恒等映射，I(xl)=xl，那么残差模块内部具有如公式2.2和公式2.3所示的关系：yl=I(xl)+F(xl,ωl)(2.2)xl+1=f(yl)(2.3)当f也是恒等映射时，即xl+1≡yl时，可以得到递推公式2.4，继而得到公式2.5。xl+1=xl+F(xl,ωl)xl+2=xl+1+F(xl+1,ωl+1)...xL=xL1+F(xL1,ωL1)(2.4)xL=xl+L1∑i=lF(xi,ωi)(2.5)从公式2.5中可以看出，对于第L个残差块的输入可以用其中一个浅层的残差块l的输入加上它们之间所有的残差函数之和来表示；对于第L个残差块，其输入就可以直接用初始残差块的输入再加上之前一系列的残差模块输出的总和，即xL=x0+∑L1i=0F(xi,ωi)。另外，假设损失函数为ε，通过上述的反向传播的链式法则可以计算出公式2.6：εxl=εxLxLxl=εxL(1+xlL1∑i=lF(xi,ωi))(2.6)在传统神经网络的结构中，第L层的输入特征xL是一系列各自权重与输入特征的乘积，即∏L1i=0Wix0。由公式2.6可知，传统网络中反向传播时产生的矩阵向量连乘被一系列残差函数结果的累加所取代，这就意味着造成梯度消失的根本原因已经被避免了。上述整个推导过程有一个前提条件，就是I(xl)=xl和xl+1=
第二章基于深度残差网络的单幅图像超分辨重建2.3基于多尺度深度残差网络的单幅图像超分辨重建2.3.1多尺度联合亚像素卷积深度残差网络本章提出的多尺度联合亚像素卷积深度残差网络(MultiscaleSubpixelConvolution-basedDeepResnet,MSCDR)，其具体架构如图2.5所示。首先在残差块部分级联了32个如图2.14所示的多尺度残差模块，接着通过捷径连接，直接将低层次的输入特征图与当前获得的高层次特征图相加。将多个层次信息融合，既可以防止网络的梯度消失，也可以增强判别信息的能力。我们采用亚像素卷积的方式，将从低分辨率空间中产生的特征图通过周期性筛选，重置得到预测高分辨率输出图像ISR。图2.5多尺度联合亚像素卷积深度残差网络与VDSR算法不同，其虽然使用多尺度图像作为训练集，但网络仅能提取输入图像在单一尺度上的特征，实际上无法充分挖掘输入的多尺度图像在不同尺度间隐藏的信息。MSCDR采用多通道的形式，利用多尺度残差模块，对于每个输入图像内部多个尺度的特征，利用网络以挖掘潜在的更加丰富的细节特征，可以为提高图像的重建质量做贡献。在传统方案和SRCNN算法中，对于图像的上采样主要有两种方案。一种是Osendor-fer等人[71]采用的在网络中间逐渐提高图像分辨率。另一种方案，先采用双三次插值对输入的低分辨率图像进行上采样，将其放大至与期望输出图像相同尺寸后作为网络的输入数据，因而整个训练过程始终是处于高分辨率空间中，这必然增加计算的复杂性。卷积网络的处理速度直接取决于输入图像的分辨率，这必然会使网络的训练时间增加。其次，插值方案不会带来额外信息以弥补重建问题中的不足。本章提出的MSCDR算法采用亚像素卷积层，在低分辨率空间中进行网络训练，具体将在2.3.2节和2.3.3节中介绍。多尺度残差模块主要有三个
本文编号：2955954
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/2955954.html
最近更新
教材专著
