图像的多类型中文描述生成系统

发布时间：2021-07-13 03:12

　　图像描述是一个将计算机视觉和自然语言处理巧妙结合的任务,它将输入的图片直接转化为人们能理解的文字。图像描述在图像语义辅助理解、图像检索等方面有很强的实用价值。对图像生成多种类型的描述,从易用性、实用性、创新性等方面来说,都具有一定的参考价值。本文提出了一种图像的多类型中文描述生成方法,并开发了一套图像多类型中文描述生成系统。描述类型包括中文文本描述、古诗和佳句。针对中文文本描述的生成,在目前效果较好的英文文本描述算法的基础上,采用了效果更好的图像特征提取层。由于中文分词存在歧义等问题,采用了基于字的描述生成方法。由于文本生成过程中不能对不同区域的图像特征进行权重配置,采用了注意力机制计算不同时刻不同区域的图像特征权重值。结合最优的超参数和大规模中文文本描述数据集,训练出一个优秀的中文文本描述生成模型。同时,对文本描述提取关键词,根据关键词生成古诗和佳句。针对古诗的生成,通过文本描述提取的关键词联想出四个诗歌关键词,然后采用双端多层LSTM结构对当前句的关键词和上文信息进行编码,采用基于注意力机制的编码器-解码器模型生成当前诗句。针对名言佳句的生成,通过比较和分析深度学习自动生成方法和关... 

【文章来源】：华南理工大学广东省 211工程院校 985工程院校 教育部直属院校

【文章页数】：92 页

【学位级别】：硕士

【部分图文】：

卷积操作过程

图 2-2 最大池化操作过程传统的神经网络结构，非线性激活操作用来对线性表达能力。从理论层面来说，增加了非线的映射关系。常用的非线性激活函数包括 sigm数一般是 relu 如图 2-3，它结构简单、运算速

图 2-2 最大池化操作过程神经网络结构，非线性激活操作用达能力。从理论层面来说，增加了关系。常用的非线性激活函数包括是 relu 如图 2-3，它结构简单、运


本文编号：3281219