神经机器翻译中引入语言信息的研究

发布时间：2020-04-20 08:41

【摘要】：全球化现象在当今世界不断增强,国际交流也随之变得日益频繁,语言交流的障碍正逐步凸显。机器翻译凭借高效的翻译效率和低廉的成本,成为了克服上述障碍,增强跨国跨文化交流的重要手段,这使其成为了人工智能及自然语言处理领域中研究的热点。随着深度学习的快速发展,基于神经网络的机器翻译模型得到了广泛地关注。相较于之前的机器翻译模型,神经机器翻译模型直接使用双语对齐数据进行训练,而没有利用任何额外的语言信息进行指导。训练过程会将输入的源语言和输出的目标语言分别投影成高维的向量,而翻译所需的语言信息则完全包含在这些向量表示中。然而双语数据是由人工翻译整理而成的,通常规模不会很大,但神经网络的参数规模却是极其庞大的,这种不平衡导致了现有的神经机器翻译模型生成的向量表示无法包含有足够语言信息。语言表示的不完整则会产生很多翻译问题,如翻译过程中局部字词信息不够精确会导致多翻,漏翻,或者错翻等现象;缺少语义或结构的全局信息则会导致翻译结果在语义和结构上产生很大偏差等。因此,通过引入各类语言信息来约束和指导神经机器翻译模型的训练和生成,可以针对性的解决这些问题,使得翻译生成的结果更加的完整和准确,从而大幅提高机器翻译的质量。本文从如何将语言信息引入神经机器翻译模型的角度出发,基于模型结构和外部资源两个方向展开研究。本文的主要内容如下:1.针对神经机器翻译模型的局部表示不够精确的问题,提出在神经机器翻译模型中结合一种词预测机制对语言表示进行额外的约束。通过这种方式可以利用目标端的词信息使翻译过程中每个向量表示能包含有更精确的局部语言信息。实验结果表明引入词预测机制能使得模型的翻译结果更加准确和完整。2.针对神经机器翻译模型的全局语言信息建模不完整导致其容易出现一些语义和结构偏差的问题,提出在模型中显式建模句子级的全局表示,并将其动态地结合到翻译过程中。通过这种方式,可以使得翻译的句子在全局表示的指导下能更加准确地反映源端句子的语义信息,从而提高整体的翻译质量。3.针对有限的双语数据不足以使翻译模型学习到足够好的语言表示的问题,提出了一种双向自注意力语言模型来利用外部的大规模单语数据学习语言表示,并将学习到的语言表示加入到翻译过程中辅助神经机器翻译模型进行翻译。实验结果表明外部数据提供的语言信息能够显著提高翻译的质量。4.另一方面,本文提出了一种新型的双向记忆交互式神经机器翻译模型,在人机交互中,更好地利用用户提供的外部语言信息进行生成和学习。实验结果表明,本文提出的方法,可以充分利用用户在交互过程中提供的语言信息提高翻译质量。
【图文】：

模型图,机器翻译,循环神经网络,神经

（Ｔｒａｎｓｆｏｒｍｅｒ）。该模型同样是基于编码器－解码器框架，并在若干语对上取逡逑得了当前最好的效果｜４３１。基于自注意力网络的神经机器翻译模型的结构如逡逑图２－２所示。逡逑同样给定一组输入｛ｘ，ｙ｝，在编码阶段，一个由多层自注意力网络组逡逑

模型图,机器翻译,神经,模型

逡逑图２－１：基于循环神经网络的神经机器翻译模型逡逑其中ｓｏｆｔｍａｘ为归一化指数函数，ｓｙ是解码器在第＿／个时间步产生的隐层状态，逡逑它由解码器的ＧＲＵ计算而得。计算方式如下：逡逑ｓｊ邋＝邋ＧＲＵｒｆ（ｓｙ－＿ｉ，邋［＾（ｙｙ－ｉ）；邋Ｃｙ］）逦（２－８）逡逑其中表示上下文的向量Ｃ７？通过注意力机制Ｍ对编码器生成的一组状态进行计算逡逑得到：逡逑１逡逑Ｃｊ邋＝逦＾邋ａｊｉｈｉ逦（２－９）逡逑／＝１逡逑ｅｘｐ（＾／７）逡逑ａ，邋＝逦（２－１０）逡逑Ｉｔ＝ｉ邋ｅｘｐ（＾．）逡逑ｅｊｉ邋＝逦ｔａｎｈ（Ｗ（／？￡／［ｓｊ，＿ｉ；邋ｈ，］）逦（２－１１）逡逑２．１．２基于自注意力网络的神经机器翻译模型逡逑Ｖａｓｗａｎｉ等人＿在２０１７年提出了基于自注意力网络的神经机器翻译模型逡逑（Ｔｒａｎｓｆｏｒｍｅｒ）。该模型同样是基于编码器－解码器框架，并在若干语对上取逡逑得了当前最好的效果｜４３１。基于自注意力网络的神经机器翻译模型的结构如逡逑图２－２所示。逡逑同样给定一组输入｛ｘ，ｙ｝，在编码阶段，，一个由多层自注意力网络组逡逑
【学位授予单位】：南京大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP183;H085

【相似文献】