基于自编码器的图像压缩算法研究与FPGA实现
发布时间：2021-08-01 21:26
图像不仅在网络传播中消耗着大量带宽,也在实际存储中占用着大量的存储空间,因此,压缩图像以便其传输和存储一直是人们研究的热点。近年来,神经网络在刷脸支付、智慧安防和自动驾驶等高层视觉领域取得了不错的效果,但在图像压缩这类低层视觉领域的效果还未达到足以成熟的压缩标准,研究神经网络在图像压缩领域的应用显得极为迫切。本文以自编码器这类神经网络为核心,研究分析了自编码器在有损图像压缩方向的压缩性能。本文首先分析了标准自编码器在端对端的有损图像压缩方面的可行性;其次,标准自编码器应用于图像压缩领域存在一些不利约束,包括仅适用于固定码率的压缩任务和无法适应任意分辨率的源图像,为解决上述缺点,本文采用了基于卷积神经网络和渐进传输思想的残差自编码器网络结构来修正标准自编码器的自身缺陷;最后,在同一测试集与合理压缩比率等条件下,将本文设计的码率可调的自编码器有损图像压缩网络与JPEG 2000图像压缩算法进行对比,实验结果表明本文的图像压缩网络在MS-SSIM（Multi-scale Structural Similarity）、PSNR、图像解码细节和算法通用性等方面都有一定的提升。本文设计的自编码器图...
【文章来源】：西安理工大学陕西省
【文章页数】：69 页
【学位级别】：硕士
【部分图文】：
JPEG中的
2图像压缩和自编码器的理论基础15InputLayer∈R4HiddenLayer∈R6HiddenLayer∈R8OutputLayer∈R2图2-5二分类多层感知机的拓扑结构Fig.2-5Topologicalstructureofbinaryclassificationmulti-layerperceptron神经网络的具体结构构建完成之后，所有的权重和偏置都是随机初始化的，要达到最佳的拟合效果，就需要不断训练网络。神经网络的训练过程分为前向传播（推理）和反向传播（更新参数），而训练多层感知机神经网络通常使用的是误差反向传播算法（ErrorBack-propagation，BP），因此也称其为BP神经网络[49]。首先，使用BP算法先要定义误差函数，回归问题常用的误差函数是均方误差（MeanSquared），基本定义如下式(2-7)：其中，表示神经网络的输出；表示网络的监督数据；表示数据的维度。分类问题常用的损失函数是交叉熵，基本定义如下式(2-8)：其次，反向传播在更新网络参数时使用了微积分中的链式法则。BP算法的目的是更新网络中的每个参数，从而让网络的损失函数收敛且尽可能的小，这就需要计算出损失函数关于每个参数的梯度。反向传播时，损失函数只和输出层直接相连，更新该层参数只需要计算其一阶偏导数即可；更新隐藏层和输入层中的权重参数的问题则可以看做是一个复合函数的求偏导问题，在更新这部分参数就需要应用到链式法则。以更新输出层参数为例，该层网络参数更新公式如下式(2-9)，其中是学习率：(2-7)(2-8)(2-9)
西安理工大学硕士学位论文18xhrfg图2-7自编码器的一般架构Fig.2-7GeneralarchitectureofAutoencoder自编码器可以看做是一个学习无限接近恒等函数r=x的一类神经网络，从而使得输出信号无限近似输入信号，这似乎没有太大必要去学习，但如果对自编码器添加部分稀疏性的约束条件，如限制隐藏层中神经元的个数，此时便会迫使网络中间的隐藏层学习到压缩数据的某些特征。如图2-8是一个非常简单的基于BP神经网络的三层自编码器结构：其中，输入数据维度为8，为了在输出端恢复出相同的数据，那么输出数据维度就必须与输入保持完全一致；为了对输入数据进行压缩，提取有效的压缩特征数据，就必须添加约束限制，因此隐藏层的神经元个数就必须小于输入神经元个数，此处设置为2。图2-8中的网络对输入数据进行4倍压缩，即压缩比率是4:1，压缩比率将在2.3节进行介绍。当然，隐藏层中的神经元个数只要小于输入节点数就可以达到数据压缩的目的，具体的设置为几个节点需要结合实际中对压缩质量的需求和压缩目的进行综合判断后决定。理论上，对于BP神经网络，只需要调整隐藏层中的神经元个数便可轻松调节网络的压缩比率，然而一个网络的压缩比是固定的，在需要多个压缩比率的场合，就需要对每个应压缩比率设计单独的网络，这也是传统自编码器用于图像压缩的一个缺点，即压缩比率不可调。BP神经网络使用全连接是其固有的缺点，导致网络参数庞大且训练时的收敛时间较长，因此基于BP神经网络的自编码器压缩网络的压缩性能往往较差且者实用性不强。InputLayer∈R8HiddenLayer∈R2OutputLayer∈R8图2-8基于BP神经网络的自编码器的拓扑结构Fig.2-8TopologystructureofAutoencoderbasedonBPneuralnetwork目前，自编码器压缩网络多是以卷积神经网络?
【参考文献】：
期刊论文
[1]面向卷积神经网络的FPGA设计[J]. 卢丽强,郑思泽,肖倾城,陈德铭,梁云. 中国科学:信息科学. 2019(03)
[2]基于FPGA的卷积神经网络卷积层并行加速结构设计[J]. 陈煌,祝永新,田犁,汪辉,封松林. 微电子学与计算机. 2018(10)
[3]卷积神经网络研究综述[J]. 周飞燕,金林鹏,董军. 计算机学报. 2017(06)
[4]卷积神经网络的FPGA并行加速方案设计[J]. 方睿,刘加贺,薛志辉,杨广文. 计算机工程与应用. 2015(08)
[5]Huffman编解码及其快速算法研究[J]. 李晓飞. 现代电子技术. 2009(21)
[6]自适应量化表的JPEG压缩技术[J]. 黄战华,蔡怀宇,李贺桥,黄孟怀. 光电子·激光. 2000(05)
博士论文
[1]BP神经网络分类器优化技术研究[D]. 高鹏毅.华中科技大学 2012
硕士论文
[1]神经网络图像压缩算法的FPGA实现研究[D]. 贾祖琛.西安电子科技大学 2018
[2]JPEG-LS近无损图像压缩码率控制算法及其硬件实现[D]. 陈聪.中国科学院大学(中国科学院国家空间科学中心) 2018
[3]基于深度学习的端到端图像视频压缩框架[D]. 陶文.哈尔滨工业大学 2018
[4]深度学习的硬件实现与优化技术研究[D]. 林楗军.哈尔滨工业大学 2017
[5]基于冗余字典的高光谱遥感图像压缩算法的研究与实现[D]. 王博.北京工业大学 2016
[6]眼底视网膜暗场成像技术研究[D]. 赵军磊.中国科学院研究生院（光电技术研究所） 2014
[7]JPEG算法与矢量量化算法在图像压缩中的应用研究[D]. 纪心毅.合肥工业大学 2008
[8]基于DCT变换的图像编码方法研究[D]. 朱剑英.南京理工大学 2004
本文编号：3316274
【文章来源】：西安理工大学陕西省
【文章页数】：69 页
【学位级别】：硕士
【部分图文】：
JPEG中的
2图像压缩和自编码器的理论基础15InputLayer∈R4HiddenLayer∈R6HiddenLayer∈R8OutputLayer∈R2图2-5二分类多层感知机的拓扑结构Fig.2-5Topologicalstructureofbinaryclassificationmulti-layerperceptron神经网络的具体结构构建完成之后，所有的权重和偏置都是随机初始化的，要达到最佳的拟合效果，就需要不断训练网络。神经网络的训练过程分为前向传播（推理）和反向传播（更新参数），而训练多层感知机神经网络通常使用的是误差反向传播算法（ErrorBack-propagation，BP），因此也称其为BP神经网络[49]。首先，使用BP算法先要定义误差函数，回归问题常用的误差函数是均方误差（MeanSquared），基本定义如下式(2-7)：其中，表示神经网络的输出；表示网络的监督数据；表示数据的维度。分类问题常用的损失函数是交叉熵，基本定义如下式(2-8)：其次，反向传播在更新网络参数时使用了微积分中的链式法则。BP算法的目的是更新网络中的每个参数，从而让网络的损失函数收敛且尽可能的小，这就需要计算出损失函数关于每个参数的梯度。反向传播时，损失函数只和输出层直接相连，更新该层参数只需要计算其一阶偏导数即可；更新隐藏层和输入层中的权重参数的问题则可以看做是一个复合函数的求偏导问题，在更新这部分参数就需要应用到链式法则。以更新输出层参数为例，该层网络参数更新公式如下式(2-9)，其中是学习率：(2-7)(2-8)(2-9)
西安理工大学硕士学位论文18xhrfg图2-7自编码器的一般架构Fig.2-7GeneralarchitectureofAutoencoder自编码器可以看做是一个学习无限接近恒等函数r=x的一类神经网络，从而使得输出信号无限近似输入信号，这似乎没有太大必要去学习，但如果对自编码器添加部分稀疏性的约束条件，如限制隐藏层中神经元的个数，此时便会迫使网络中间的隐藏层学习到压缩数据的某些特征。如图2-8是一个非常简单的基于BP神经网络的三层自编码器结构：其中，输入数据维度为8，为了在输出端恢复出相同的数据，那么输出数据维度就必须与输入保持完全一致；为了对输入数据进行压缩，提取有效的压缩特征数据，就必须添加约束限制，因此隐藏层的神经元个数就必须小于输入神经元个数，此处设置为2。图2-8中的网络对输入数据进行4倍压缩，即压缩比率是4:1，压缩比率将在2.3节进行介绍。当然，隐藏层中的神经元个数只要小于输入节点数就可以达到数据压缩的目的，具体的设置为几个节点需要结合实际中对压缩质量的需求和压缩目的进行综合判断后决定。理论上，对于BP神经网络，只需要调整隐藏层中的神经元个数便可轻松调节网络的压缩比率，然而一个网络的压缩比是固定的，在需要多个压缩比率的场合，就需要对每个应压缩比率设计单独的网络，这也是传统自编码器用于图像压缩的一个缺点，即压缩比率不可调。BP神经网络使用全连接是其固有的缺点，导致网络参数庞大且训练时的收敛时间较长，因此基于BP神经网络的自编码器压缩网络的压缩性能往往较差且者实用性不强。InputLayer∈R8HiddenLayer∈R2OutputLayer∈R8图2-8基于BP神经网络的自编码器的拓扑结构Fig.2-8TopologystructureofAutoencoderbasedonBPneuralnetwork目前，自编码器压缩网络多是以卷积神经网络?
【参考文献】：
期刊论文
[1]面向卷积神经网络的FPGA设计[J]. 卢丽强,郑思泽,肖倾城,陈德铭,梁云. 中国科学:信息科学. 2019(03)
[2]基于FPGA的卷积神经网络卷积层并行加速结构设计[J]. 陈煌,祝永新,田犁,汪辉,封松林. 微电子学与计算机. 2018(10)
[3]卷积神经网络研究综述[J]. 周飞燕,金林鹏,董军. 计算机学报. 2017(06)
[4]卷积神经网络的FPGA并行加速方案设计[J]. 方睿,刘加贺,薛志辉,杨广文. 计算机工程与应用. 2015(08)
[5]Huffman编解码及其快速算法研究[J]. 李晓飞. 现代电子技术. 2009(21)
[6]自适应量化表的JPEG压缩技术[J]. 黄战华,蔡怀宇,李贺桥,黄孟怀. 光电子·激光. 2000(05)
博士论文
[1]BP神经网络分类器优化技术研究[D]. 高鹏毅.华中科技大学 2012
硕士论文
[1]神经网络图像压缩算法的FPGA实现研究[D]. 贾祖琛.西安电子科技大学 2018
[2]JPEG-LS近无损图像压缩码率控制算法及其硬件实现[D]. 陈聪.中国科学院大学(中国科学院国家空间科学中心) 2018
[3]基于深度学习的端到端图像视频压缩框架[D]. 陶文.哈尔滨工业大学 2018
[4]深度学习的硬件实现与优化技术研究[D]. 林楗军.哈尔滨工业大学 2017
[5]基于冗余字典的高光谱遥感图像压缩算法的研究与实现[D]. 王博.北京工业大学 2016
[6]眼底视网膜暗场成像技术研究[D]. 赵军磊.中国科学院研究生院（光电技术研究所） 2014
[7]JPEG算法与矢量量化算法在图像压缩中的应用研究[D]. 纪心毅.合肥工业大学 2008
[8]基于DCT变换的图像编码方法研究[D]. 朱剑英.南京理工大学 2004
本文编号：3316274
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/3316274.html
