基于目标端双向解码一致性的机器翻译

发布时间：2024-01-30 07:19

　　近年来,随着深度学习技术的迅速发展,基于Seq2Seq的神经网络机器翻译模型(NMT)的性能得到极大的提升,并且在很多语言对上的性能都超过了传统的统计机器翻译模型(SMT)。但不论是基于RNN的Seq2Seq还是基于self-attention的Transformer,它们通常会遇到错误偏置(exposure bias)的问题:在进行解码时容易产生具有良好前缀但不良后缀的不平衡目标。针对这个问题,本文对目标端双向解码进行了研究,并提出了基于目标端双向解码一致性的机器翻译模型。课题研究的主要内容包括以下几部分:(1)目标端双向解码的研究。传统的神经机器翻译模型在进行解码时是基于先前生成的token去预测下一个token。这样早期生成过程中的错误会被保存并传递,影响后续的生成结果。因此,本文提出在解码阶段加入反向解码,并将正向解码和反向解码的候选结果利用联合模型进行重排序,进而实现目标端的双向解码。实验结果表明,目标端双向解码有助于机器翻译任务性能的提高。(2)机器翻译双向一致性解码模型的研究。目标端双向解码模型仅通过重排序从2k-best个候选者中找到最优结果,针对候选者并没有解决exp...

【文章页数】：67 页

【学位级别】：硕士

图1-2神经机器翻译编码器-解码器结构

图1-3带注意力的编码解码框架

图2-1循环神经网络结构

图2-2循环神经网络的展开结构图

本文编号：3889757