蒙汉神经机器翻译中的未登录词处理研究

发布时间：2024-04-11 04:50

　　神经机器翻译是以编码器-解码器为基本框架的新型机器翻译模型,其在翻译任务中的表现优异。因此神经机器翻译已成为当前机器翻译研究热点。在神经机器翻译中为了降低计算时间和内存消耗,通常限制词汇表的大小。也就是把不在词汇表中的词表示成统一的符号参与神经网络翻译模型的训练。这样会导致有些句子因为某个词的缺失而失去完整的意义,最终会严重影响翻译结果的质量。这些用统一符号表示的词称为未登录词。本文针对蒙汉神经机器翻译的未登录词问题进行了如下研究:(1)在基于注意力的蒙汉神经机器翻译系统上,对未登录词问题采用了基于语义相似度的未登录词替换、基于语言模型的未登录词替换和基于蒙汉对齐词典的未登录词替换三种方法,并做了未登录词处理实验和扩充语料实验,其中基于蒙汉对齐词典的未登录词处理方法的表现最好,BLEU和NIST值分别为0.6351和9.1686。(2)在Tensorflow平台上搭建了基于transformer的蒙汉神经机器翻译系统,并进行了基于词素的翻译实验,实验表明蒙文端进行部分切分,汉文端为词粒度的情况下评测结果最好,BLEU和NIST值分别为0.6841和9.5922。(3)在基于transf...

【文章页数】：53 页

【学位级别】：硕士

【部分图文】：

图2-1seq2seq模型

射为另外一个输出序列。如下图所示:图2-1seq2seq模型在图2-1中左边部分是一个神经网络，该神经网络会接收输入序列“ABCEOS”，其中EOS表示句末标记。在这个过程中每一个时间点接收一个词或者字，并在读取到EOS时终止接受输入，最后将输入序列压缩成指....

图2-3LSTM的隐层单元结构图

网络一般都是全连接结构，并且每层之间的节点本可以通过使用神经网络来解决，但是普通的神列标注这样的非定长输入。例如，要预测一个句前词前面的单词，因为在一个句子中的前后单是有人提出了循环神经网络(RecurrentNeur的信息并应用于当前输出的计算当中，即隐藏层层的输入不仅包括当....

图2-4注意力机制示意图

入句子长度的增加，基本的编码器-解码器题在基本的编码器-解码器结构中引入了注目标语言端的词，往往只与源语言端部分词，它在源语言句子中搜索与之相关的部分。的上下文向量和前面已生成的单词，预测的编码器-解码器架构首先使用双向RNN作N组成。而解码器主要根据输入序列进行翻，然后计....

图2-5RNN网络结构

第二章神经机器翻译相关理论万能的，也有一些不足，它的不足之处集中在以下两点：首先，由于RNN序列特性，导致其并行化的能力很低。从图2-5可以看出，如果把RNN展开来看的，是一种序列型的网络，如果想得到的结果，必须得先计算出的结，这样的串行关系使它的并行度非常低。....

本文编号：3950898