基于表达—图像匹配检测的指称表达理解（REC）方法研究

发布时间：2021-06-07 15:00

　　随着人工智能的发展,计算机视觉和自然语言处理交叉领域的研究逐渐引起科研工作者们的兴趣,指称表达理解（Referring Expression Comprehension,REC）就是其中之一。指称表达（Referring Expression）是指描述场景中某个特定物体的自然语言表达,例如“穿着蓝色衣服的人”、“在桌子上的苹果”等等。REC任务要求算法能够在给定的图像中定位指称表达所描述的物体。目前的REC方法都假设指称表达所描述的物体一定存在于图像中,没有判断指称表达与图像是否匹配。然而,在实际应用场景中该假设是不成立的。例如,有视力障碍的用户命令他的REC机器人“请把桌上的笔记本电脑拿给我”,但实际在桌子上的是其他物体。因此,若不匹配的指称表达与图像作为目前REC方法的输入,则其会输出错误的定位结果。针对上述问题,本文的主要研究内容如下:本文在第三章和第四章提出了模块化REC方法来解决上述问题,模块化REC方法能够判断指称表达与图像是否匹配,如果判断指称表达与图像匹配则在图像中定位指称表达所描述的物体,如果判断指称表达与图像失配则生成文本反馈来解释失配的具体原因。模块化REC方法分... 

【文章来源】：天津工业大学天津市

【文章页数】：73 页

【学位级别】：硕士

【部分图文】：

指称表达理解（REC）任务介绍

目前REC方法缺少对指称表达与图像匹配检测出现的问题以及本文方法的优势那么为什么目前的REC方法没有考虑指称表达与图像的匹配性，本文研究

REC任务和REG任务的区别和联系近几年，随着计算机视觉和自然语言处理交叉领域的发展，REC已经成为独


本文编号：3216798