基于深度学习的图像描述生成方法研究

发布时间：2021-11-21 02:08

　　社会的快速进步极大地激发了智能技术的创新发展。图像特征提取技术和文本自动生成技术都受到学术界的极大关注。近年来交叉学科和跨领域的研究受到巨大的青睐,尤其是融合图像和文本的深度学习研究,即图像描述生成技术。它是一个涉及自然语言处理和计算机视觉的综合性研究问题。本文详细介绍了图像描述生成技术的研究背景、国内外研究现状。并从多个角度和方向对常用的图像描述生成模型进行了分析研究。具体研究内容如下:（1）针对图像描述的广度和非相关性问题,设计了一种基于多级注意力的细粒度图像描述生成方法,以增强特定区域的图像描述。首先,利用视觉注意力机制融合图像全局和局部的细粒度特征。其次,利用联合注意力机制融合图像的视觉特征和标签特征,生成图像特定区域的描述文本。最后,使用基于注意力的长时短期记忆网络（LSTM）的语言生成模型来生成细粒度的图像描述语句。实验证明,该方法能有效地提高图像描述语句的针对性和准确性。（2）针对以往图像描述生成模型忽略文本信息特征的问题,设计了一种融合多角度多模态的图像描述生成方法。首先,该模型利用全局图像和局部图像的特征、利用基本的编解码模型生成图像的第一句描述作为输入;其次,利用句... 

【文章来源】：齐鲁工业大学山东省

【文章页数】：79 页

【学位级别】：硕士

【部分图文】：

神经网络图

第2章相关技术研究10首先，先简要地介绍一下常用神经网络中单个神经元的工作原理，如下图2.1所示：图2.1神经元结构示例其中jx为单个神经元的输入，ijw为链接权重，b为偏置，f为激励函数，iy为神经元的输出，则计算公式可表示为：Njjijibxwfy1(2.1)通过单个神经元的信息处理过程，可以推出多个神经元甚至神经网络模型的信息处理过程。神经网络模型的构建是通过多个神经元的组合而连接的。当神经网络的模型建立后，可选择某种学习方法根据神经网络的拓扑结构来完成训练。根据神经网络的发展进程，有相关学者提出反向传播算法（BackPropragation，BP）。在处理小规模数据集中，它是神经网络中最有效、最常用的算法之一。Paulwerbos在1974年[36]最早提出BP算法，直到20世纪80年代中期Rumelhart[37]、Hinton等人重新发现了BP算法的优点，才得到了广泛的应用，并为人们所熟知。BP算法以往被广泛应用在各个领域，是当时最流行的神经网络学习算法。图2.2神经网络图

第2章相关技术研究12nnjjbC(2.9)然后设置学习率更新参数，公式如下：njmnjmjwCwwnm(2.10)njnjnjbCbb(2.11)BP神经网络算法的计算过程如图2.3所示：图2.3神经网络算法框图虽然BP神经网络算法具有一定的推广、概括能力、有很强的自学习能力，适合于解决内部机制复杂的问题。但是BP神经网络算法学习速度很慢，它要优化的目标函数又非常复杂，使BP算法非常低效。另外，BP神经网络算法是一种局部搜索优化算法，极易可能陷入局部最优，也容易出现过拟合现象，所以BP神经网络的应用范围和发展潜力就受到很大限制。鉴于BP神经网络的各项不足，因此，卷积神经逐渐流行起来并成为热潮。所以鉴于卷积神经网络的结构非常简单、局部连接、权值共享等优势，本课题的相关研究采用的就是由卷积神经网络经过改进后的各类网络模型。卷积网络（CNN）主要是卷积核通过卷积运算实现特征向量的变换和提龋它的主要结构包括：输入层：输入层的神经元主要是处理输入的每个像素，所以数量和输入图像

【参考文献】：
期刊论文
[1]HDFS存储和优化技术研究综述[J]. 金国栋,卞昊穹,陈跃国,杜小勇.  软件学报. 2020(01)
[2]基于多注意力多尺度特征融合的图像描述生成算法[J]. 陈龙杰,张钰,张玉梅,吴晓军.  计算机应用. 2019(02)
[3]云计算中Hadoop技术研究与应用综述[J]. 夏靖波,韦泽鲲,付凯,陈珍.  计算机科学. 2016(11)
[4]基于自动编码器组合的深度学习优化方法[J]. 邓俊锋,张晓龙.  计算机应用. 2016(03)
[5]近年来Hadoop国外研究综述[J]. 王彦明,奉国和,薛云.  计算机系统应用. 2013(06)
[6]基于关键词的图像标注综述[J]. 郭乔进,丁轶,李宁.  计算机工程与应用. 2011(30)
[7]基于Hadoop平台的海量文本分类的并行化[J]. 向小军,高阳,商琳,杨育彬.  计算机科学. 2011(10)

硕士论文
[1]基于多尺度卷积神经网络的图像分类算法研究[D]. 吕朦.湖北工业大学 2019
[2]图像描述文本自动生成方法研究[D]. 申永飞.重庆大学 2017
[3]面向图像描述的深度神经网络模型研究[D]. 陈强普.重庆大学 2017
[4]图像标注算法研究及其在Hadoop平台上的实现[D]. 张恺.武汉理工大学 2017
[5]基于Hadoop的混合神经网络计算平台研究与实现[D]. 罗练海.华南理工大学 2016
[6]基于深度学习的短信分类技术研究[D]. 王婷.长安大学 2016
[7]云计算环境的数据存储管控技术研究[D]. 吕培培.北方工业大学 2013
[8]新闻图像内容与字幕文本协同识别与检索方法研究[D]. 康莹莹.哈尔滨工业大学 2012



本文编号：3508545