神经机器翻译网络结构建模研究
发布时间：2022-01-10 08:04
随着深度学习的快速发展,以神经网络为基础结构的神经机器翻译取得重大突破,在翻译质量上几乎全面超越了传统的统计机器翻译。神经机器翻译主要基于“编码器-解码器”框架对翻译过程进行建模,并采用注意机制建立互译词之间的对应关系。在这一框架下,如何建立更优的网络结构以进一步促进源句子语义信息的提取和转换受到众多科研人员的追捧和青睐。本文主要针对神经机器翻译中的三大主要模块（即:编码器、注意机制和解码器）提出相应的网络结构增强方法,在提升系统建模能力的同时增强系统的翻译性能。本文的主要工作如下:1、提出一种上下文感知的循环编码器模型。已有循环编码器采用双向循环神经网络来建模源句子,并且简单地将不同方向循环网络的表示进行拼接作为源端词的语义表示。这种建模方法隐式地假设了不同方向上上下文信息间的独立性,不利于源句子语义信息的精准提取。本文提出一种上下文感知的循环编码器模型,通过设计层次化的网络结构将不同方向上的上下文信息进行整合,融入到统一的句子表示之中。大规模NIST中文到英文和WMT英文到德文的实验结果表明本文提出的方法可以显著地改善翻译系统的译文质量,并有效地加快了系统的解码速度。2、提出一种基...
【文章来源】：厦门大学福建省 211工程院校 985工程院校 教育部直属院校
【文章页数】：84 页
【学位级别】：硕士
【部分图文】：
图１－２融入注意机制的神经机器翻译系统??“”
合统计和深度学习的在线翻译系统，以提供更优质的翻译服务，相应的产品如图??１－３所示。２０１６年，谷歌科研人员研发了谷歌神经机器翻译系统（Ｇｏｏｇｌｅ’ｓＮｅｕｒａｌ??Ｍａｃｈｉｎｅ?Ｔｒａｎｓｌａｔｉｏｎ）?［２７］，并部署上线，相应的产品如图１－４所示。２０１７年，脸??谱公司的科研工作者研发出基于卷积神经网络的神经机器翻译系统??（Ｃｏｎｖｏｌｕｔｉｏｎａｌ?Ｓｅｑｕｅｎｃｅｔｏ?Ｓｅｑｕｅｎｃｅ?Ｌｅａｒｎｉｎｇ）间；同年，谷歌首次提出利用纯??粹注意机制进行机器翻译的思想，在ＷＭＴ?１４英语到德语和英语到法语的翻译??任务上取得了强劲的突破［２９］。在此基础上，２０１８年，微软研究院整合多项建模??技术，包括对偶学习（Ｄｕａｌ?Ｌｅａｒｎｉｎｇ），审议网络（ＤｅｌｉｂｅｒａｔｉｏｎＮｅｔｗｏｒｋ）等，在??中文到英文的翻译任务上，首次取得超越人类的结果［３Ｑ］。可以说，神经机器翻译??技术己成为当今机器翻译领域绝对的主流技术，在产业界的大力支持下，其发展??势头必将持续。??百度翻译?Ａ?：三??英语，?＾?中文
合统计和深度学习的在线翻译系统，以提供更优质的翻译服务，相应的产品如图??１－３所示。２０１６年，谷歌科研人员研发了谷歌神经机器翻译系统（Ｇｏｏｇｌｅ’ｓＮｅｕｒａｌ??Ｍａｃｈｉｎｅ?Ｔｒａｎｓｌａｔｉｏｎ）?［２７］，并部署上线，相应的产品如图１－４所示。２０１７年，脸??谱公司的科研工作者研发出基于卷积神经网络的神经机器翻译系统??（Ｃｏｎｖｏｌｕｔｉｏｎａｌ?Ｓｅｑｕｅｎｃｅｔｏ?Ｓｅｑｕｅｎｃｅ?Ｌｅａｒｎｉｎｇ）间；同年，谷歌首次提出利用纯??粹注意机制进行机器翻译的思想，在ＷＭＴ?１４英语到德语和英语到法语的翻译??任务上取得了强劲的突破［２９］。在此基础上，２０１８年，微软研究院整合多项建模??技术，包括对偶学习（Ｄｕａｌ?Ｌｅａｒｎｉｎｇ），审议网络（ＤｅｌｉｂｅｒａｔｉｏｎＮｅｔｗｏｒｋ）等，在??中文到英文的翻译任务上，首次取得超越人类的结果［３Ｑ］。可以说，神经机器翻译??技术己成为当今机器翻译领域绝对的主流技术，在产业界的大力支持下，其发展??势头必将持续。??百度翻译?Ａ?：三??英语，?＾?中文
【参考文献】：
期刊论文
[1]Minimal Gated Unit for Recurrent Neural Networks[J]. Guo-Bing Zhou,Jianxin Wu,Chen-Lin Zhang,Zhi-Hua Zhou. International Journal of Automation and Computing. 2016(03)
本文编号：3580353
【文章来源】：厦门大学福建省 211工程院校 985工程院校 教育部直属院校
【文章页数】：84 页
【学位级别】：硕士
【部分图文】：
图１－２融入注意机制的神经机器翻译系统??“”
合统计和深度学习的在线翻译系统，以提供更优质的翻译服务，相应的产品如图??１－３所示。２０１６年，谷歌科研人员研发了谷歌神经机器翻译系统（Ｇｏｏｇｌｅ’ｓＮｅｕｒａｌ??Ｍａｃｈｉｎｅ?Ｔｒａｎｓｌａｔｉｏｎ）?［２７］，并部署上线，相应的产品如图１－４所示。２０１７年，脸??谱公司的科研工作者研发出基于卷积神经网络的神经机器翻译系统??（Ｃｏｎｖｏｌｕｔｉｏｎａｌ?Ｓｅｑｕｅｎｃｅｔｏ?Ｓｅｑｕｅｎｃｅ?Ｌｅａｒｎｉｎｇ）间；同年，谷歌首次提出利用纯??粹注意机制进行机器翻译的思想，在ＷＭＴ?１４英语到德语和英语到法语的翻译??任务上取得了强劲的突破［２９］。在此基础上，２０１８年，微软研究院整合多项建模??技术，包括对偶学习（Ｄｕａｌ?Ｌｅａｒｎｉｎｇ），审议网络（ＤｅｌｉｂｅｒａｔｉｏｎＮｅｔｗｏｒｋ）等，在??中文到英文的翻译任务上，首次取得超越人类的结果［３Ｑ］。可以说，神经机器翻译??技术己成为当今机器翻译领域绝对的主流技术，在产业界的大力支持下，其发展??势头必将持续。??百度翻译?Ａ?：三??英语，?＾?中文
合统计和深度学习的在线翻译系统，以提供更优质的翻译服务，相应的产品如图??１－３所示。２０１６年，谷歌科研人员研发了谷歌神经机器翻译系统（Ｇｏｏｇｌｅ’ｓＮｅｕｒａｌ??Ｍａｃｈｉｎｅ?Ｔｒａｎｓｌａｔｉｏｎ）?［２７］，并部署上线，相应的产品如图１－４所示。２０１７年，脸??谱公司的科研工作者研发出基于卷积神经网络的神经机器翻译系统??（Ｃｏｎｖｏｌｕｔｉｏｎａｌ?Ｓｅｑｕｅｎｃｅｔｏ?Ｓｅｑｕｅｎｃｅ?Ｌｅａｒｎｉｎｇ）间；同年，谷歌首次提出利用纯??粹注意机制进行机器翻译的思想，在ＷＭＴ?１４英语到德语和英语到法语的翻译??任务上取得了强劲的突破［２９］。在此基础上，２０１８年，微软研究院整合多项建模??技术，包括对偶学习（Ｄｕａｌ?Ｌｅａｒｎｉｎｇ），审议网络（ＤｅｌｉｂｅｒａｔｉｏｎＮｅｔｗｏｒｋ）等，在??中文到英文的翻译任务上，首次取得超越人类的结果［３Ｑ］。可以说，神经机器翻译??技术己成为当今机器翻译领域绝对的主流技术，在产业界的大力支持下，其发展??势头必将持续。??百度翻译?Ａ?：三??英语，?＾?中文
【参考文献】：
期刊论文
[1]Minimal Gated Unit for Recurrent Neural Networks[J]. Guo-Bing Zhou,Jianxin Wu,Chen-Lin Zhang,Zhi-Hua Zhou. International Journal of Automation and Computing. 2016(03)
本文编号：3580353
本文链接：https://www.wllwen.com/wenyilunwen/hanyulw/3580353.html
