融合句法知识的神经机器翻译研究

发布时间：2020-10-15 09:33

　　 神经机器翻译通常采用序列-序列的神经网络模型对翻译任务建模,其翻译结果从流畅度、忠实度等方面都远超传统的统计机器翻译方法,使机器翻译技术达到了一个新的高度。通常情况下,神经机器翻译模型利用编码器以序列的形式对源语言句子编码,再利用解码器同样以序列的形式生成目标语言句子。然而语言中句子的构成并不是词语的简单罗列,实际上每句话都是由该语言的语法结构约束的。例如一个英文句子可以由主语、谓语、宾语组成,每个英文单词可以充当其中一个或多个角色,它们需要在语法的约束下才能组合成一个正确的句子。语法结构是语言中非常重要的组成部分。而神经机器翻译模型在翻译的过程中往往忽视了语法结构,导致翻译结果中仍存在违背语法约束的错误译文。在自然语言处理领域,语法通常由句法结构表示。近年来,基于句法的神经机器翻译成为神经机器翻译研究中的一个热点话题。本文主要针对基于句法的神经机器翻译中的五种问题提出相应的研究方法。第一,针对基于句法的神经翻译模型中源语言树结构编码复杂的问题,提出一种简单有效的基于依存句法结构遍历的编码方法。源语言的句法结构可以帮助神经翻译模型准确地理解源语言中词语之间的结构关系,比如主谓关系,修饰关系等,从而保证译文最大限度的契合源语言。现有的诸多方法利用复杂的神经网络结构对源语言的句法结构进行编码。虽然实现了将句法信息引入到神经翻译模型中,但大大增加了模型的复杂度。针对这一问题,本文提出了基于依存句法结构遍历的编码方法。该方法立足于结构简单的源语言依存句法结构,通过先序、后序的遍历方式构建出两种不同于源语言句子的序列,同时它们最大限度地保留了句法结构知识。本文通过在编码器中额外地编码这两种遍历序列,将源语言的依存句法结构引入到神经翻译模型中。实验结果表明这种方法可以有效地让神经机器翻译利用源语言句法知识,并提高了翻译性能。第二,目前新兴的基于完全自注意力机制的Transformer模型已经全面地超越了以往的神经机器翻译模型,然而句法结构能否对Transformer有帮助仍是一个研究空白。本文在Transformer的基础上提出一种基于源语言依存结构的有监督编码器。Transformer编码器的特点是利用多层的多路自注意力网络从不同角度隐式地对源语言建模。针对这一点,本文提出利用依存句法结构指导自注意力网络显示地对句法结构建模。首先,本文在依存句法结构的基础上提出两种结构依存矩阵,这两个矩阵分别包含了子节点到父节点的依赖关系和父节点到子节点的依赖关系。然后,在Transformer模型的训练过程中,利用这两个矩阵去指导自注意力网络显示地对依存结构建模,从而达到将依存结构引入Transformer的目的。该方法简单易行,既不增加Transformer网络的复杂度,又不打破Transformer高度并行化的优势。在翻译过程中,编码器能够自动的构建源语言依存结构,并将其用来帮助翻译的产生。实验结果表明该方法可以有效地利用源语言依存句法结构提高Transformer的翻译性能。第三,针对在神经机器翻译模型中利用目标语言句法知识这一问题,本文提出了序列-依存的翻译模型。目标语言的依存句法知识可以直接有效地约束译文,使其满足语法结构。现有方法大多集中于如何在翻译过程中生成译文对应的句法结构,却忽视了对如何有效地利用已生成的句法结构进一步提高译文的质量。本文立足于目标语言的依存句法结构,提出序列-依存的翻译模型。该模型能够在翻译的过程中同时为译文构建依存句法结构,并从已生成的局部句法结构中抽取句法级的上下文知识,进一步帮助后续译文和句法结构的生成。实验结果表明本文提出的序列-依存翻译模型能够很好地利用目标语言句法知识提高模型的翻译能力,同时也能为译文建立合理的句法结构。第四,针对现有工作未能在神经机器翻译模型中同时利用源语言和目标语言句法知识这一问题,本文提出依存-依存的翻译模型。句法是比句子复杂很多的结构化知识,在基于序列的神经翻译模型中利用单一方向的句法知识已经很有挑战,那么要同时利用两个方向的句法知识更是难上加难,因此现有工作未能同时考虑二者。针对这一问题,本文提出依存-依存的神经翻译模型,该模型实现了同时利用源语言和目标语言的依存句法结构。本文将依存-依存的模型框架分别应用在基于循环神经网络的翻译模型和Transformer中并提高了二者的翻译性能。第五,本文对基于句法的翻译模型做了比较全面的分析,包括以下三个方面:(1)分析了训练数据规模对翻译模型的影响;(2)分析了句法精度对翻译模型的影响;(3)基于句法的翻译模型在相似语种和不相似语种下的翻译效果。
【学位单位】：哈尔滨工业大学
【学位级别】：博士
【学位年份】：2019
【中图分类】：TP391.2;TP183
【部分图文】：

第 1 章 绪论机制的 Transformer 模型。.3.1 序列到序列模型序列到序列模型[35,40]由编码器和解码器两部分组成。编码器负责读入源语子，并将其压缩为语义空间中的一个向量，同时期望该向量能够包含源语言句上下文信息；解码器则基于编码器产生的源语言句子向量，生成在语义上等价标语言句子。一般来说，编码器和解码器可由循环神经网络组成（RNN）。图出了序列到序列模型的一个简单样例，该图源于 Sutskever 等人的工作[35]。输语言句子“A B C”，模型逐词的读入每一个单词，并以句子结束符“<EOS>”尾，然后逐词的生成目标语言句子“W X Y Z”，同样以符号“<EOS>”结束。本节将依次介绍编码器和解码器的构造。

图 1-4 基于循环神经网络的编码器解码器框架在不同长度句子上的翻译性能[36]g.1-4 The translation performance for different sentence length of the neural machine translatio，并生成反向的隐状态。最终得到的隐状态序列为 H = h1,h2,h3,...,hn，其中 i, hi]，hi和 hi分别是由正向和反向 RNN 生成的隐状态。注意力机制通过当前器隐状态 st和编码器的每一个隐状态计算权重，然后使用该权重将编码器的隐含状态按位加权相加得到该时刻的源语言句子的最终向量表示 cj，计算过下所示，ct=mk=1atkhk(1-atk=exp(etk)mi=1exp(eti)(1-etk=match(st, hk)(1-atch 是匹配函数。注意力机制可以直观理解为，为每一个目标语言单词寻找一恰当的源语言单词，动态的构建了每个时刻的源语言向量表示，翻译过程中

图 1-7 Transformer 模型的结构[38]Fig.1-7 The model structure of the Transformer[38]将自关注网络生成的源语言句子内的上下文向量同当生成考虑了整个句子上下文的当前时刻的隐含状态。差链接（Residual Connection）和层规范化（Layer No网络层，即图中的 AddNorm 层，定义为 LayerNorm(络的输入，SubLayer 为该子网络的处理函数，LayerNo N 个这样的网络层堆叠可以对信息进一步地进行抽象，同构网络中每个子网络的输出，以及词向量和位置编需要保持同样的长度。样包含堆叠的 N 个同构网络层，每个网络层包含三个同编码器的第一个子网络层类似，是一个分组自关注言句子里的其它词的信息考虑进来生成一个目标语言于编码器的自关注注意力网络，解码器在解码的时候
【相似文献】

相关期刊论文 前10条

1 杨渊;冯莉娜;;巧用句法知识突破英语阅读理解难关[J];济南职业学院学报;2006年04期

2 王璞;宁婧思;;法语句法知识扭曲对写作教学的负迁移影响及其对策[J];东西南北;2019年20期

3 秦琴;;巧用句法知识突破英语阅读理解的难关[J];考试周刊;2007年41期

4 王璞;;句法知识缺失对法语学习的负迁移影响[J];才智;2014年06期

5 杨光正;;句法知识系统的推理方法[J];自动化学报;1993年05期

6 魏玉宝;吴爽;;基于高考的句法课课例分析[J];教学考试;2019年30期

7 张焕芹;;浅谈英语论说文的句法知识[J];校园英语;2015年35期

8 陈小芳;;自动写作评分系统对作文句法复杂度的影响[J];黑龙江工业学院学报(综合版);2017年11期

9 范文静;陈艳丽;;英语阅读中句法分析的应用[J];科技信息;2006年S3期

10 姜敬军;;提高解答英语主观题能力的途径——一句多义[J];语数外学习(高考英语);2011年06期

相关博士学位论文 前1条

1 吴双志;融合句法知识的神经机器翻译研究[D];哈尔滨工业大学;2019年

相关硕士学位论文 前7条

1 吴晶晶;句法知识对大学生英语阅读能力影响研究[D];燕山大学;2012年

2 廖如莺;词汇量、句法知识和阅读策略对学生英语阅读能力影响的调查研究[D];南京师范大学;2012年

3 徐晴;[D];电子科技大学;2009年

4 胡琼;信息结构对中国英语学习者句法加工的影响[D];广东外语外贸大学;2017年

5 邓静;句法知识、词汇广度和词汇深度对阅读理解的影响[D];福建师范大学;2014年

6 蒋荣;句法知识对母语者与第二语言学习者阅读模式的影响[D];北京语言文化大学;2001年

7 吴敏;基于句法知识的代词消解研究[D];清华大学;2005年

本文编号：2842002