基于深度神经网络的机器翻译研究

发布时间：2021-08-25 00:21

　　当今世界人类社会和经济社会快速发展,随着世界各国全球化合作日益加深,人类社会对机器翻译的需求也迅速增加,而人工智能技术的进步,也对机器翻译的质量提出了新的要求。同时,机器翻译研究的开展,对自然语言处理的其他领域有着标杆性的作用。因此,对于机器翻译的研究不仅具有很高的实用价值,更能推动自然语言处理理论研究的进步。机器翻译模型可以分为统计机器翻译和神经机器翻译两大类。其中神经机器翻译模型是利用深度学习技术,完全依赖于神经网络搭建的翻译模型,主要由编码器和解码器两个部分组成。经典的“编码器-解码器”模型中大多采用的是循环神经网络。但由于循环神经网络本身不适合进行深层网络的叠加,所以很难通过叠加多层网络来提高机器翻译模型的性能。而当下正流行的Transformer模型在延用“编码器-解码器”框架的同时,完全摒弃了循环神经网络,采用多头自注意力机制和前馈神经网络进行模型网络的搭建,虽可以进行多层网络叠加,但因其摒弃循环神经网络,所以失去了输入序列的位置信息特征,为解决此问题,该模型在对文本进行转换表示的过程中加入了位置信息向量。基于对以上问题的思考,本文作出如下工作和研究:（1）针对第一种经典的... 

【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校

【文章页数】：56 页

【学位级别】：硕士

【部分图文】：

“编码器-解码器”框架图

第二章相关理论基础知识简介11图2-2循环神经网络结构图2-3循环神经网络展开结构记当前时间步为t，则当前的输入为，隐藏层为，输出为。当前输入和上一时间步隐藏层1分别进行线性变换后相加，经过激活函数的处理后，得到当前时间步隐藏层，经过线性变换后，再通过激活函数的处理，得到当前输出，同时将作为下一时间步的输入进行下一步的计算。这里需要注意的是，权重矩阵、、在每一个时间步上都是完全相同的，0时点的隐藏层0一般为全零向量。具体的公式如下：=+1（2-3）=（2-4）其中、表示激活函数。反复代入后可得到：

第二章相关理论基础知识简介11图2-2循环神经网络结构图2-3循环神经网络展开结构记当前时间步为t，则当前的输入为，隐藏层为，输出为。当前输入和上一时间步隐藏层1分别进行线性变换后相加，经过激活函数的处理后，得到当前时间步隐藏层，经过线性变换后，再通过激活函数的处理，得到当前输出，同时将作为下一时间步的输入进行下一步的计算。这里需要注意的是，权重矩阵、、在每一个时间步上都是完全相同的，0时点的隐藏层0一般为全零向量。具体的公式如下：=+1（2-3）=（2-4）其中、表示激活函数。反复代入后可得到：


本文编号：3361008