面向神经机器翻译的领域适应方法研究

发布时间：2024-06-02 13:43

　　数据驱动的机器翻译技术的性能在很大程度上取决于训练和测试数据之间的领域匹配程度。由于不同领域训练数据差异大导致跨领域翻译性能下降,研究者通常通过使翻译系统适应到目标领域的方法来提高特定领域的翻译性能。神经机器翻译(NMT)领域适应研究的主要策略大致可以分为两类:一类是将领域外的知识迁移和适应到领域内的翻译中;另外一类是使用混合领域语料构建翻译模型来翻译多领域文本。本文分别针对这两类情景,开展了面向神经机器翻译的领域适应方法研究。本文主要工作包括:(1)基于句子权重的神经机器翻译的领域适应方法。在机器翻译中,与目标领域相关的那些领域外的实例对于模型的训练通常是有益的,而那些与目标领域不相关的领域外数据可能会降低翻译质量。在本文中,我们提出一种基于句子权重的领域适应方法,根据句子与目标领域的相关程度来评估句子的权重,并将权重融入NMT影响参数更新。我们将该方法应用在标准的领域适应和低资源领域伪语料训练的两个场景中,在中英IWSLT领域适应任务和低资源的电商领域翻译任务中,该方法均取得了特定领域翻译性能的显著提升。(2)基于自注意力机制的神经机器翻译的多领域适应方法。在通用平行语料库上训练的...

【文章页数】：72 页

【学位级别】：硕士

【部分图文】：

图２－１基于注意力的神经机器翻译流程框架图??２－１，［３－４ｉ立经础??

面向神经机器翻译的领域适应方法研宄?第二草相关知识介绍??第二章相关知识介绍??本章主要对本文研究涉及到的一些相关知识进行介绍，分为五个部分：第－部分??介绍基于注意力的循环神经网络的神经机器翻译模型；第二部分介绍基于自注意??（ｓｅｌｆ－ａｔｔｅｎｔｉｏｎ）的神经机器翻译Ｔｒａ....

图２－２基于自注意力（ｓｅｌｆ－ａｔｔｅｎｔｉｏｎ）的神经机器翻译Ｔｒａｎｓｆｏｒｍｅｒ模型流程框架

ｄｅｒ??Ｆｅｅｄ?Ｆｏｒｗａｒｄ?Ａｔｔｅｎｔｉｏｎ?Ｍ??＾?？?＞?Ａ?ＷＸ??Ｅｎｃｏｄｅｒ??｜?＾?＾Ａ???Ｎｘ?Ａｄｄ＆Ｎｏｒｍ?Ａｄｄ＆Ｎｏｒｍ??１?Ｍａｓｋｅｄ??Ｍｕｌｔｉ－Ｈｅａｄ?Ｍｕｌｔｉ－Ｈｅａｄ??Ａｔｔｅｎｔｉｏｎ?Ａｔｔｅｎｔｉｏｎ??Ｖ?／....

图１??Ｔｒａｎｓｆｏｒｍｅｒ１６】一－

Ｅｎｃｏｄｅｒ??｜?＾?＾Ａ???Ｎｘ?Ａｄｄ＆Ｎｏｒｍ?Ａｄｄ＆Ｎｏｒｍ??１?Ｍａｓｋｅｄ??Ｍｕｌｔｉ－Ｈｅａｄ?Ｍｕｌｔｉ－Ｈｅａｄ??Ａｔｔｅｎｔｉｏｎ?Ａｔｔｅｎｔｉｏｎ??Ｖ?／?ｖ?Ｊ??Ｉｎｐｕｔ?Ｏｕｔｐｕｔ??Ｅｍｂｅｄｄｎｇ?Ｅｍｂｅｄｄｉｎｇ??１?Ｉ....

图３－１用ｔ－ＳＮＥ将领域内和领域外句子表示可视化

第二章基于句子权重的神经机器翻译的领域适应方法?面向神经机器翻译的领域适应方法研究??３．４．６句子表示的可视化分析??本章提出的相似度测量方法的有效性可以由可视化论证。相似的句子具有相似的??向量表示在图３－１中，每个点代表着一个句子向量表示的二维投射，句子向量是??由经过ｓｏ....

本文编号：3987332