融合词义的神经机器翻译研究
发布时间：2021-06-14 18:36
神经机器翻译为机器翻译提供了一种全新的方法,在多种语言对上的翻译效果已经超越了统计机器翻译,并逐渐成为当前机器翻译的主流方法。但是神经机器翻译也存在自身的不足,翻译精准度缺失的问题是当前神经机器翻译面临的主要难题之一,在神经机器翻译模型生成的译文中经常会出现错误翻译的现象。本文探索了词义在神经机器翻译中的应用,词义为模型能够正确翻译单词提供了有用的信息。通过对词义的建模,能够缓解传统神经机器翻译模型中存在的错误翻译的问题。主要研究内容包含如下三个方面:（1）本文首先分析造成神经机器翻译中产生错误翻译的原因,并分析不同神经机器翻译模型中错误翻译的情况。进而,本文将单词翻译看作是单词词义的表现形式,通过字典方法、语义消歧方法和随机候选翻译方法为源端单词构造对应的单词词义。（2）一旦获取了单词词义,本文通过三种不同的编码器结构为神经机器翻译模型融入单词词义。Factored编码器采用相加或者拼接词向量的方式直接将单词词义添加入神经机器翻译模型中;Gated编码器采用门机制选择性地控制单词词义进入模型的流量;Mixed编码器将单词与单词词义交替地输入进模型。实验结果显示本文方法在中英机器翻译任...
【文章来源】：苏州大学江苏省
【文章页数】：63 页
【学位级别】：硕士
【部分图文】：
图２－１基于循环神经网络的神经机器翻译模型
融合词义的神经机器翻译研究?第２章相关知识介绍??入单元的流量，例如在图２－２中：??，‘ｈｔ??ｈ，－ｉ???????？?？?Ｌ－??ｚＳ—＊４）?????ｘ．??图２－２?ＧＲＵ单元结构图??ｚ，为更新门，用于控制前－时刻的状态信息被带入到当前状态中的程度，更新门??的值越大说明前？时刻的状态信息带入越多。＾为重置Ｉ＇ｊ，用ｆ？控制忽略前？吋刻的??状态信息的程度，重制门的值越小说明忽略的越多。??ＧＲＵ单允的具体计算公式为：??ｚ，?＝ａ（Ｗ：－［ｈｌ＿ｖｘｌ］）?（２－６）??ｎ?＾＜７｛Ｗｒ－［ｈｔＡ，ｘ，］）?（２－７）??６?＝?ｔａｎｈ（?％?？?［ｄ，－Ｙ，?］）?（２－８）??ｈ，?＝（ｌ－ｚ，）＊Ｖ，?＋ｚ，＊ｈ，?（２－９）??ＧＲＵ单元区别于普通的ＲＮＮ单元，具有如下两个优点??（１）?ＧＲＵ网络容易记住长期的语义信息??在－个较长序列步的输入流屮，学习＋?Ｍ时间步的信息，并且将其传递给后继的??时间步是－件十分困难的事情。ＧＲＵ网络通过更新门机制，对于任何重要的特征，??个会被重写而是去维护更新，因此每个笮允很容易记住现有的？些特征，使得单元具??有？定的记忆功能。??（２）?ＧＲＵ?Ｍ络可以缓解梯度消失和梯度爆炸问题??梯度消失和梯度爆炸问题一直是困扰着ＲＮＮ网络的一大难题。ＧＲＵ网络有效地??创造／跨越多个时间步的快捷路径，这些路径很容易使错误反向传播，使得梯度不至??９??
＾?；?１?Ｉ?—?｜??｜?Ｍｕｌｔｉ－ｈｅａｄ?Ｉ?｜?Ｍａｓｋｅｄ?Ｍｕｌｔｉ－ｈｅａｄ??Ａｔｔｅｎｔｉｏｎ?｜?｜?Ａｔｔｅｎｔｉｏｎ??１?ｔ?ｔ?个?｜?ｌ?ｉ?ｆ?ｔ??Ｉ??＇?ｌ?１??Ｏ?Ｐｏｓｉｔｉｏｎａｌ?／＜Ｘ？—?Ｐｏｓｉｔｌｃｎａｌ??＾?Ｅｍｂｅｄｄｉｎｇ?Ｅｍｏｅｄｄｉｎｇ??Ｉｎｐｕｔ?Ｅｍｂｅｄｄｍｇ?Ｏｕｔｐｕｔ?Ｅｍｂｅｄｄｉｎｇ??Ｉｎｐｕｔｓ?Ｏｕｔｐｕｔｓ?（ｓｈｉｆｔｅｄ???ｒｉｇｈｔ）??图２－３?Ｔｒａｎｓｆｏｒｍｅｒ基准系统??Ｔｒａｎｓｆｏｒｍｅｒ模型Ｒ别ｆ基于循环神经网络的神经机器翻译模型，舍弃了循环神??经网络和卷积神经网络，仅仅使用注意力机制进行编码与解码。Ｔｒａｎｓｆｏｒｍｅｒ模型克??服／原有基Ｔ？循环祌经Ｍ络的神经机器翻译模型无法汴行的缺点，砬著地提升／整体??的实验效率，节省，人量的训练时间。??鉴于Ｔｒａｎｓｆｏｒｍｅｉ？模型已经成为当前祌经机器翻译的主流模型，因而，本文的实??验在上述两种不同的翻译模型上进行，确保本文方法的可靠性与普适性。??１１??
【参考文献】：
期刊论文
[1]神经机器翻译前沿进展[J]. 刘洋. 计算机研究与发展. 2017(06)
[2]深度学习研究综述[J]. 尹宝才,王文通,王立春. 北京工业大学学报. 2015(01)
[3]基于规则的机器翻译技术综述[J]. 袁小于. 重庆文理学院学报(自然科学版). 2011(03)
[4]统计机器翻译综述[J]. 刘群. 中文信息学报. 2003(04)
[5]浅层句法分析方法概述[J]. 孙宏林,俞士汶. 当代语言学. 2000(02)
博士论文
[1]序列标注问题的监督学习方法及应用[D]. 汤步洲.哈尔滨工业大学 2011
本文编号：3230114
【文章来源】：苏州大学江苏省
【文章页数】：63 页
【学位级别】：硕士
【部分图文】：
图２－１基于循环神经网络的神经机器翻译模型
融合词义的神经机器翻译研究?第２章相关知识介绍??入单元的流量，例如在图２－２中：??，‘ｈｔ??ｈ，－ｉ???????？?？?Ｌ－??ｚＳ—＊４）?????ｘ．??图２－２?ＧＲＵ单元结构图??ｚ，为更新门，用于控制前－时刻的状态信息被带入到当前状态中的程度，更新门??的值越大说明前？时刻的状态信息带入越多。＾为重置Ｉ＇ｊ，用ｆ？控制忽略前？吋刻的??状态信息的程度，重制门的值越小说明忽略的越多。??ＧＲＵ单允的具体计算公式为：??ｚ，?＝ａ（Ｗ：－［ｈｌ＿ｖｘｌ］）?（２－６）??ｎ?＾＜７｛Ｗｒ－［ｈｔＡ，ｘ，］）?（２－７）??６?＝?ｔａｎｈ（?％?？?［ｄ，－Ｙ，?］）?（２－８）??ｈ，?＝（ｌ－ｚ，）＊Ｖ，?＋ｚ，＊ｈ，?（２－９）??ＧＲＵ单元区别于普通的ＲＮＮ单元，具有如下两个优点??（１）?ＧＲＵ网络容易记住长期的语义信息??在－个较长序列步的输入流屮，学习＋?Ｍ时间步的信息，并且将其传递给后继的??时间步是－件十分困难的事情。ＧＲＵ网络通过更新门机制，对于任何重要的特征，??个会被重写而是去维护更新，因此每个笮允很容易记住现有的？些特征，使得单元具??有？定的记忆功能。??（２）?ＧＲＵ?Ｍ络可以缓解梯度消失和梯度爆炸问题??梯度消失和梯度爆炸问题一直是困扰着ＲＮＮ网络的一大难题。ＧＲＵ网络有效地??创造／跨越多个时间步的快捷路径，这些路径很容易使错误反向传播，使得梯度不至??９??
＾?；?１?Ｉ?—?｜??｜?Ｍｕｌｔｉ－ｈｅａｄ?Ｉ?｜?Ｍａｓｋｅｄ?Ｍｕｌｔｉ－ｈｅａｄ??Ａｔｔｅｎｔｉｏｎ?｜?｜?Ａｔｔｅｎｔｉｏｎ??１?ｔ?ｔ?个?｜?ｌ?ｉ?ｆ?ｔ??Ｉ??＇?ｌ?１??Ｏ?Ｐｏｓｉｔｉｏｎａｌ?／＜Ｘ？—?Ｐｏｓｉｔｌｃｎａｌ??＾?Ｅｍｂｅｄｄｉｎｇ?Ｅｍｏｅｄｄｉｎｇ??Ｉｎｐｕｔ?Ｅｍｂｅｄｄｍｇ?Ｏｕｔｐｕｔ?Ｅｍｂｅｄｄｉｎｇ??Ｉｎｐｕｔｓ?Ｏｕｔｐｕｔｓ?（ｓｈｉｆｔｅｄ???ｒｉｇｈｔ）??图２－３?Ｔｒａｎｓｆｏｒｍｅｒ基准系统??Ｔｒａｎｓｆｏｒｍｅｒ模型Ｒ别ｆ基于循环神经网络的神经机器翻译模型，舍弃了循环神??经网络和卷积神经网络，仅仅使用注意力机制进行编码与解码。Ｔｒａｎｓｆｏｒｍｅｒ模型克??服／原有基Ｔ？循环祌经Ｍ络的神经机器翻译模型无法汴行的缺点，砬著地提升／整体??的实验效率，节省，人量的训练时间。??鉴于Ｔｒａｎｓｆｏｒｍｅｉ？模型已经成为当前祌经机器翻译的主流模型，因而，本文的实??验在上述两种不同的翻译模型上进行，确保本文方法的可靠性与普适性。??１１??
【参考文献】：
期刊论文
[1]神经机器翻译前沿进展[J]. 刘洋. 计算机研究与发展. 2017(06)
[2]深度学习研究综述[J]. 尹宝才,王文通,王立春. 北京工业大学学报. 2015(01)
[3]基于规则的机器翻译技术综述[J]. 袁小于. 重庆文理学院学报(自然科学版). 2011(03)
[4]统计机器翻译综述[J]. 刘群. 中文信息学报. 2003(04)
[5]浅层句法分析方法概述[J]. 孙宏林,俞士汶. 当代语言学. 2000(02)
博士论文
[1]序列标注问题的监督学习方法及应用[D]. 汤步洲.哈尔滨工业大学 2011
本文编号：3230114
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3230114.html
