基于神经机器翻译方法的英语语法错误纠正研究

发布时间：2021-08-14 16:49

　　语法错误纠正,目标是利用计算机程序自动地纠正书面文本中存在的语法错误。目前,主流的方法将其看作一个单语翻译任务,纠错就是将“错误”句子翻译成“正确”句子的过程。本文分别从模型、训练算法、数据增强三个层面着手,研究升语法错误纠正性能的方法。（1）绝大部分语法错误发生在文本中某一局部,但也有一小部分语法错误跨越文本中的多个片段。我们使用当前神经机器翻译中最为先进的编码器-解码器模型——Transformer建模语法错误纠正,以兼顾文本中的局部上下文信息和长距离依赖关系。在两个标准数据集上的实验结果表明,Transformer显著地优于基于循环神经网络或卷积神经网络的模型。（2）典型的神经机器翻译面临着曝光偏差、损失评估失配等问题。此外,自动评价指标往往不能完全真实地反映模型的性能。我们出了一个面向语法错误纠正的对抗学习框架,在该框架中,包含一个判别器和一个生成器。给定错误句子,判别器负责区分某一纠正句子来自模型输出还是人工标注,而生成器的目标是生成“以假乱真”的纠正句子以欺骗判别器。通过让两者相互对抗,促使生成器生成与人类表达更为接近的纠正句子。我们借助强化学习中的策略梯度方法来克服由自然... 

【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校

【文章页数】：78 页

【学位级别】：硕士

【部分图文】：

本文主要研究内容在第二章中，我们将当前神经机器翻译中最为先进的编码器-解码器模型——

图 2-1 按时间步展开的循环神经网络带门限机制的循环神经网络为了解决上述问题，研究人员在原始的循环神经网络上做了许多改进，例如，调整网络中的非线性激活函数，设计新的循环单元。有两种循环神经网络变体得到了广泛的应用，分别是长短期记忆[79]（Long Short-Term Memory，LSTM）和门控循环单元[80]（GatedRecurrentUnits，GRU）。这两者的核心思想是，允许输入线性地在网络中流通，而不经过非线性激活函数。LSTM 额外引入了一个细胞状态（cellstate），在计算时，和隐含状态一起反馈给下一个时间步。LSTM 的形式化定义如下：输入门： = ( + 1+ )遗忘门： = ( + 1+ )输出门： = ( + 1+ )

输入转换： = tanh( + ( ° 1) + )隐含状态： = (1 ) ° 1+ ° (2-6)总体来说，GRU 和 LSTM 的性能相当，均能有效地建模序列中的长距离依赖，但 GRU 的参数量更少。2.2.3 编码器-解码器模型与注意力机制编码器-解码器模型在序列到序列学习中，通常使用神经网络编码器-解码器模型进行建模。编码器首先将输入序列编码成连续空间中的一系列隐含状态表示（向量），之后，基于编码器输出的这些隐含状态，以及当前时间步之前已输出的符号序列前缀，解码器预测输出下一个符号，图 2-2 给出了一个带注意力机制的编码器-解码器模型的示意图。


本文编号：3342827