基于循环神经网络的短序列机器翻译方法研究

发布时间：2020-08-23 22:49

【摘要】：身处全球化时代,各个国家和民族间的联系日益紧密,各个语种之间的翻译也理所当然变成了一种迫切的需求。人工翻译虽然可以实现准确翻译,其相对应的人力代价对许多需求来说却是无法负担的。因此,机器翻译的重要性不言而喻。然而,机器翻译还远未达到全自动、高质量的翻译要求,具有很大的发展空间。探索更有效的机器翻译算法仍然具有重要的学术研究和工业应用价值。深度学习目前应用广泛,在机器翻译领域也取得了突破性的成就。但是,目前神经机器翻译多以词语作为输入的基本单元。基于词语的神经机器翻译不仅处理流程更加繁琐而且分词算法难免引入误差,词典过大也会造成网络模型维度过高。除此之外,基于词语的翻译模型还存在对未登录词处理困难等问题。针对以上问题,本文以字符级别双语数据作为输入并进一步改进了基于神经网络的翻译模型。字符毕竟不同于词语,输入形式从词到字符的转换会造成原有模型效果的下降。因此,本课题在编码器-解码器的整体框架之下,进一步改进了神经机器翻译模型,着重强化字符的特征表达能力。在词向量生成模块,对原始词表征进行卷积运算的粗提处理,再通过循环神经网络对字符序列进行形式化切词,增强字符的序列表征能力。此外,硬切词会造成梯度回流受阻的问题。本课题对词向量进行了信息补充,整体强化了模型的特征表达能力。经典的注意力机制只关注了当前输出与整体输入的对应关系,通过融合历史信息,可以增强权值的全局性,进一步强化词对齐效果。实验结果表明,在字符级别输入的前提下,本课题的CRNN-embed模型相比RNN-embed以及RNN-search模型效果有了进一步提升。对比基于字符和基于词语输入的模型效果以及百万级和千万级语料库基础上的模型效果,可以得出字符级别的模型更有挑战性且语料规模的增长对模型效果有显著影响的结论。
【学位授予单位】：哈尔滨工业大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：H085;TP183
【图文】：

卷积,元素,边缘区域,滤波器

图 3-2 词向量的卷积用长度不为 1 的滤波器做边缘区域卷积时，没有与起始的元素邻的顶部和底部元素。因此，我们可以对这些位置的元素进行补对应位置没有元素的都默认设置为 0。如此一来，我们就可以波器对每一个词进行卷积。在卷积过程中，每一次卷积核移动过对输入矩阵进行卷积运算，我们能够得到多个输出，将这些可得到一个特征矩阵，这个特征矩阵即为下一步循环神经网络过程增强了单个字符的表征特性。外一个部分是一般提到卷积神经网络不可避免的池化层。在计及一些自然语言处理问题当中，典型的卷积神经网路在卷积层个池化层，常用最大池化以及平均池化的方法。但在此课题当进行这一步操作。池化能够对不同长度的句子以及不同尺寸的定大小的输出，一般输出结果能够以较低的维度保留住显著的任务对输入的长度比较敏感，输入长度对最终输出结果有重要波器作用都是检测一种特定的特征，例如，检测句子是否包含诸

机器翻译,神经,定长,网络模型

哈尔滨工业大学硕士学位论文。见的神经机器翻译系统采用 RNN 系列网络模型将源语言信息编向量，然后再通过另外一个 RNN 系列网络模型对其进行解码。如以中英文为例，“I”、“like”以及“it”依次输入到编码器当中，最是一个输入结束符（图中省略），然后解码器才会逐个生成翻译词

注意力机制

哈尔滨工业大学硕士学位论文注意力机制中我们摆脱了固定向量的限制，解码器每生成一个输出词语时融合原文的不同部分。尤为重要的是我们让模型根据输入的句子以及已经产生的内容来决定与当前输出的关联。因此，在形式非常相似的语种之间（如汉语和韩语），解码器可能会选择顺序地参与事情，生成第一个韩语词语时参与原文的第一个词语，以此类推。注意力机制如图 3-5 所示。

【相似文献】