融合覆盖机制的多模态神经机器翻译

发布时间：2021-06-17 19:28

　　多模态神经机器翻译是指直接采用神经网络,以端到端方式融合图像和文本两种模态信息,以此进行翻译建模的机器学习方法。传统多模态机器翻译,是在将源语言翻译成目标语言时,借助图像中的重要特征信息优化翻译过程。但是观察发现,图像里的信息不一定出现在文本中,对翻译也会带来干扰;与参考译文对比,翻译结果中出现了过翻译和欠翻译的情况。针对以上问题,该文提出一种融合覆盖机制双注意力解码方法,用于优化现有多模态神经机器翻译模型。该模型借助覆盖机制分别作用于源语言和源图像,在注意力计算过程中,可以减少对过去重复信息的关注。在WMT16、WMT17测试集上进行实验,验证了上述方法的有效性,在WMT16英德和英法以及WMT17英德和英法测试集上,对比基准系统BLEU值分别提升了1.2,0.8,0.7和0.6个百分点。 

【文章来源】：中文信息学报. 2020,34(03)北大核心CSCD

【文章页数】：12 页

【部分图文】：

译文: 男子在河岸附近的一条河上划着船

下面介绍本文模型的总体结构,如图2所示。首先,对于一个源语言句子S=(s1,s2,…,sN),采用预训练的词向量作为词义的分布式表示,初始化环节获取每个词的向量表示X=(x1,x2,…,xN)。在此基础上进行如下特征信息的学习过程:

计算方式和式(1)、式(5)类似,区别是加入了覆盖向量作为额外的输入,共同影响目标语言的预测。接下来同样按照式(2)、式(3),式(6)～式(8)的计算方式,获取更新后的上下文注意力向量ct,it。下一步,本文使用更新后的it作为额外的输入更新2.2节第三部分的计算,通过使用候选隐状态s′t,源语言注意力向量ct和图像注意力向量it计算t时刻最后隐状态st,如式(13)～式(16)所示。


本文编号：3235783