基于编解码框架的图像语义描述研究

发布时间：2021-11-27 01:45

　　近年来,图像语义描述作为人工智能领域一项基本的研究任务,受到越来越多的关注。它作为桥梁连接了计算机视觉中的图像处理技术和自然语言处理中的序列语句生成技术。图像语义描述在实际生活中有着很多的应用,例如,它可以帮助视觉障碍者理解图像,也可以通过挖掘图像的语义内容来提高图像检索的质量。图像语义描述任务也取得了很大的进展,尤其是基于编解码网络框架的模型在这个任务上取得了优异的性能表现。在本文中,我们提出了一种叫做自动重构网络（Auto-Reconstructor Network,ARNet）的网络结构,该网络嵌入于编解码网络模型之中,并且能够端到端的为图像生成描述语句。在我们的自动重构网络中,使用当前时刻循环神经网络产生的隐状态去重构前一刻时刻的隐状态,以此起到在不同时刻的隐状态之间进行信息迁移变换的作用。因此,通过自动重构网络,可以鼓励当前时刻的隐状态去从前一个时刻的隐状态中吸收更多有用的信息,并且能够挖掘相邻两个隐状态之间更深的语义关系,从而对循环神经网络中隐状态中信息的动态变换起到正则化的效果。我们通过一系列的实验说明自动重构网络能够提升现有编解码网络模型的图像语义描述性能。同时,我们定... 

【文章来源】：武汉大学湖北省 211工程院校 985工程院校 教育部直属院校

【文章页数】：67 页

【学位级别】：硕士

【部分图文】：

图１－２图像语义描述技术在Ｇｏｏｇｌｅ、Ｍｉｃｒｏｓｏｆｔ以及腾讯ＡＩ?Ｌａｂ中的应用实例??

vinya】5110]等人提出的基于编解码框架的图像语义描述模型(NIC)示意图

图１＿４?等人提出的带有注意力机制的图像语义描述模型示意图??【１７］


本文编号：3521348