基于深度循环卷积网络和时空信息融合的图像描述算法研究

发布时间：2021-09-27 22:04

　　图像描述旨在为给定的图像生成符合图像内容的自然语言描述。作为人工智能领域中新兴的研究课题,图像描述受到了越来越多的关注。图像描述不仅需要识别图像中的目标、目标的属性和目标之间的关系,还需要生成语法和语义正确的描述语言。因此,图像描述存在两个基本问题,即视觉理解和语言处理。这些问题的解决需要使用计算机视觉和自然语言处理两个方面的技术,极大地增加了图像描述任务的挑战性。目前先进的图像描述方法大都以深度学习算法为基础,先使用卷积神经网络（Convolutional Neural Network,CNN）作为编码器提取图像特征,然后使用循环神经网络（Recurrent Neural Network,RNN）作为解码器生成相应的描述。然而,现有的图像描述算法往往不能充分地利用图像的空间信息,也忽略了图像空间信息与时间序列信息之间的融合。为了解决以上问题,本文以编码-解码框架和注意力机制为基础,设计了三种图像描述算法,本文主要研究内容如下:1、设计了一种基于深度循环卷积网络的图像描述算法。该算法首先使用卷积神经网络提取图像特征,然后使用卷积长短期记忆网络（Convolutional LSTM,Co... 

【文章来源】：西南交通大学四川省 211工程院校 教育部直属院校

【文章页数】：76 页

【学位级别】：硕士

【部分图文】：

常见的“视觉-语言”任务

基于模板的图像描述框架

基于检索的图像描述框架

【参考文献】：
期刊论文
[1]基于深度融合的显著性目标检测算法[J]. 张冬明,靳国庆,代锋,袁庆升,包秀国,张勇东.  计算机学报. 2019(09)
[2]基于注意力机制的上下文相关的问答配对方法[J]. 王路,张璐,李寿山,周国栋.  中文信息学报. 2019(01)
[3]基于简单循环单元的深层神经网络机器翻译模型[J]. 张文,冯洋,刘群.  中文信息学报. 2018(10)
[4]基于多注意力多尺度特征融合的图像描述生成算法[J]. 陈龙杰,张钰,张玉梅,吴晓军.  计算机应用. 2019(02)
[5]基于多模深度神经网络生成图像描述研究[J]. 周珊,刘子龙.  软件导刊. 2018(08)
[6]模板驱动的神经机器翻译[J]. 李强,黄辉,周沁,韩雅倩,肖桐,朱靖波.  计算机学报. 2019(03)
[7]面向知识自动化的自动问答研究进展[J]. 曾帅,王帅,袁勇,倪晓春,欧阳永基.  自动化学报. 2017(09)
[8]融合注意力和动态语义指导的图像描述模型[J]. 张威,周治平.  计算机科学与探索. 2017(12)
[9]基于场景感知的运动目标检测方法[J]. 宋涛,李鸥,崔弘亮.  电子学报. 2016(11)
[10]深度递归的层次化机器翻译模型[J]. 刘宇鹏,马春光,张亚楠.  计算机学报. 2017(04)



本文编号：3410693