基于深度学习的图像描述自动生成的研究

发布时间：2021-08-22 08:41

　　随着互联网存储水平的提高和智能设备的普及,越来越多的人们习惯用拍照来记录自己的生活,每天都会有大量的图像通过智能手机,PC机等智能设备产生并在互联网上共享,图像数据出现了爆炸式的增长。计算机理解图像,对图像进行标注,可以方便管理平台对图片进行分类,也可帮助用户快速准确地检索图像,对有效地整合网络上庞大的图片资源有着重要的意义。传统的图像理解关注的是较为低层次的视觉特征,如色彩特征、纹理特征以及形状特征等。近年来,随着计算机运算能力的重大飞跃,深度学习得到了快速发展,网络上结合视觉信息与自然语言的数据也为深度神经网络学习提供了数据需求,基于深度学习实现图像描述自动生成成为了计算机图像理解的前沿和热点。本文对基于深度学习的图像描述自动生成进行了深入研究,设计了端到端的图像描述生成模型。基于深度卷积神经网络提取图像语义特征,分别用深度可分离卷积神经网络和标准卷积神经网络提取图像特征,用特征金字塔网络进行特征融合,用长短期记忆神经网络将语义特征转换为自然语言,设计并构建了端到端的图像描述自动生成模型（Feature pyramid networks-Neural Image Caption,F... 

【文章来源】：深圳大学广东省

【文章页数】：67 页

【学位级别】：硕士

【部分图文】：

神经网络结构示意图

基于深度学习的图像描述自动生成的研究9的记忆，在处理序列类数据流上有比卷积神经网络更好的效果。循环神经网络的结构如图2-2所示。图2-2循环神经网络结构从图2-2可以看出，循环神经网络由输入层、隐含层和输出层组成。x是输入层，输入需要处理的数据。s是隐含层，里面有多个神经元，用来提取输入数据的特征。o是输出层，输出对数据处理后的结果。U,V分别表示输入层到隐含层，隐含层到输出层的权重矩阵。W表示上一时刻隐含层保留的信息输入当前时刻隐含层的权重。循环神经网络与普通神经网络的不同之处在于它不是孤立的去处理一个数据的，而是结合之前的信息进行预测，所以隐含层s处理当前时刻数据时，需要结合上一时刻隐含层的保留信息。由于序列数据是在不同的时刻输入到循环神经网络中，可对图2-2的网络结构进行展开，得到图2-3所示的网络结构。图2-3展开后的循环神经网络从图2-3中可以看出循环神经网络每个时刻的输出是由当前时刻的输入信息与前一时刻保存的信息共同决定的，计算公式如下：

基于深度学习的图像描述自动生成的研究9的记忆，在处理序列类数据流上有比卷积神经网络更好的效果。循环神经网络的结构如图2-2所示。图2-2循环神经网络结构从图2-2可以看出，循环神经网络由输入层、隐含层和输出层组成。x是输入层，输入需要处理的数据。s是隐含层，里面有多个神经元，用来提取输入数据的特征。o是输出层，输出对数据处理后的结果。U,V分别表示输入层到隐含层，隐含层到输出层的权重矩阵。W表示上一时刻隐含层保留的信息输入当前时刻隐含层的权重。循环神经网络与普通神经网络的不同之处在于它不是孤立的去处理一个数据的，而是结合之前的信息进行预测，所以隐含层s处理当前时刻数据时，需要结合上一时刻隐含层的保留信息。由于序列数据是在不同的时刻输入到循环神经网络中，可对图2-2的网络结构进行展开，得到图2-3所示的网络结构。图2-3展开后的循环神经网络从图2-3中可以看出循环神经网络每个时刻的输出是由当前时刻的输入信息与前一时刻保存的信息共同决定的，计算公式如下：


本文编号：3357410