神经机器翻译关键技术研究与应用

发布时间：2021-07-15 00:44

　　在如今经济全球化的时代,翻译服务的重要性逐渐体现。相较于人工翻译服务而言,机器翻译的速度更快,更能满足社会的需求。神经机器翻译作为一种利用大规模双语平行语料对神经网络进行训练,从而得到翻译模型的技术,已经成为机器翻译的主流方法,被广泛用于各种语言之间的翻译工作当中。本文以中英神经机器翻译为例,对神经机器翻译的关键技术进行了研究与应用。神经机器翻译通常仅通过平行语料学习翻译知识而忽略了语言本身的先验特征。除此之外,在主流的神经机器翻译模型中,只有最顶层编码器的输出得到了利用,其他的深层信息则被忽略,这也限制了翻译模型的性能。本文为解决以上问题,完成了以下工作:（1）提出了融入多粒度形态特征的中英神经机器翻译模型。中文词语由汉字组成,而汉字能够进一步划分为部件,这些组件的形态特征与词语的语义有着极为密切的联系。本文创新性地提出的基于部件n元组的中文词向量模型能够获取细粒度的形态特征。而粗粒度特征则通过BERT预训练语言模型的词嵌入层获得。在中英神经机器翻译任务中,本文的翻译模型相较于基准模型Transformer提高了0.78的BLEU-4评分。本文提出的中文词向量模型在词向量评测任务中分... 

【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校

【文章页数】：80 页

【学位级别】：硕士

【部分图文】：

编码器-解码器框架图

电子科技大学硕士学位论文10题。而在神经机器翻译中，无论是源语言还是目标语言，其本质都是单词的序列，因此，编码器-解码器(Encoder-Decoder)框架也自然而然成为神经机器翻译模型的首选，常见的编码器-解码器框架结构图如图2-1所示。图2-1编码器-解码器框架图在一般的神经机器翻译模型中，模型整体结构为编码器-解码器结构，编码器负责接收源语言句子的输入，并将其句子的整体语义编码为一个低维实数向量。对于输入12{,,...,}mX=xxx，可以得到隐语义向量h。隐藏语义向量h则输入至解码器当中，参与解码器逐步生成目标语言句子12{,,...,}nY=yyy的过程。具体的模型展开图以及翻译过程举例如图2-2所示。图2-2编码器解码器神经网络展开图

电子科技大学硕士学位论文12练完成，投入使用时，需要通过模型的解码阶段来生成翻译，实现其翻译的功能。本小节对常见的用于神经机器翻译系统的两种解码方式——贪婪搜索(greedysearch)解码和集束搜索(beamsearch)解码进行了简要的说明。贪婪解码方式，是最简单的利用神经机器翻译模型将源语言句子转换为目标语言句子的解码方式，贪婪解码的过程图如图2-3所示。图2-3贪婪解码过程示意图如图(2-3)所示，利用贪婪解码来为神经机器翻译模型生成翻译结果的过程为：(1)将源语言句子输入模型的编码器编码为低维实数向量作为其语义表示，该向量被用于初始化解码器的初始隐藏状态。(2)当源语言句子全部输入编码器时，将终止符号<eos>输入模型的解码器部分，作为解码的过程开始的标志。(3)解码器对<eos>符号以及源语言句子的语义信息进行运算，通过softmax层得到词汇表中每一个单词的生成概率。(4)在每一个时刻，选择生成概率最大的词语进行生成，并把它作为下一个时刻解码器的输入，与训练过程中直接输入目标序列的单词不同。(5)当解码器生成<eos>符号，或者解码轮数达到了设定的最大值，则终止解


本文编号：3285229