约束优化在神经机器翻译中的应用研究
发布时间：2020-04-01 23:25
【摘要】：不同的国家、地区和民族之间存在不同的语言。随着时代的进步,人与人之间跨越语言进行交流的需求日益增加,通过机器自动处理语言之间的翻译也越来越受到人们的关注,机器翻译即是解决这一问题的有力武器,也是目前自然处理领域的研究热点。神经机器翻译是目前机器翻译领域占主流地位的方法。神经机器翻译以平行语料作为训练数据,利用深度神经网络进行建模,然后通过随机梯度下降的方法优化损失函数来训练模型。一方面,相比统计机器翻译,神经机器翻译的训练过程是一个训练深度神经网络的过程。神经机器翻译模型具有复杂的结构和大量的待训练参数。这对端到端地训练模型的参数造成了困难;另一方面,在神经机器翻译模型中引入与翻译任务相关的先验信息,有助于提升建模的效果。约束优化是提升深度神经网络模型训练效果,以及为神经网络引入先验信息的重要方法。基于约束优化的方法,本文分别为上述两个问题提供了解决方法,主要工作如下:·针对神经机器翻译参数学习中的问题,我们提出一种基于检查点进行约束的神经机器翻译模型训练方法。该方法相比之前面向参数学习的优化方法,只依赖模型训练过程中产生的检查点,通过知识蒸馏的方式构造约束函数。此外,该方法不断地从新获得的检查点中构造新的教师模型,从而实现了根据训练过程动态地调整约束。本文提出的方法在四个翻译数据集上都显著提高了训练的效果,并且在低资源数据上缓解了训练中的过拟合现象。·跨语言共享的语义表示空间有助于提升神经机器翻译模型的效果,这种先验信息的作用在多语言对的神经机器翻译中得到广泛印证。通过跨语言共享词表和模型参数,可以让模型学习到跨语言共享的语义表示空间。然而,我们发现在单语言对的神经机器翻译模型中无法利用类似的方法。为了为翻译模型中的表示引入跨语言共享这一先验信息,我们提出了一种基于成分共享的约束优化方法。在中英、日英、韩英三个语言对上的实验结果证明了该种约束确实为模型引入了共享的语义表示,且对两个方向上的翻译效果都有提升。
【图文】：
机器翻译的研宄始于二十世纪四十年代。１９４７年，瓦伦？韦弗（Ｗａｒｒｅｎ逡逑Ｗｅａｖｅｒ）于写给友人的信中最早提及用电子计算机进行自动翻译的想法，并随逡逑后着手开始相关的研[偣ぷ鳎鞣氲难绣忱纷源苏箍Ｈ缤迹保彼荆浚义匣鞣氲南喙匮芯看笾戮缦氯鼋锥危哄义瞎嬖蚧鞣耄鹤钤绲幕鞣胂低秤煞牍嬖蚬菇ā７牍嬖蛲耆捎镥义涎匝Ъ疑杓疲ǚ胨璧拇实洌驼攵圆煌镅缘姆牍嬖颉９嬖蚍义弦胂低衬芄桓鼍嫉摹⒎嫌锓ü嬖虻姆耄悄岩杂Χ韵质抵懈髦皱义咸厥獾挠镅韵窒蟆４送猓嬖蛳低炒罱ê臀さ娜肆Τ杀疽簿痈卟幌拢还驽义显蛳低车姆夯芰σ脖冉喜睿牍嬖蛲嬖诓灰恢碌那榭觥Ｕ庑┪侍忮义显谡庖唤锥窝现刂圃剂嘶鞣氲氖涤眉壑怠ｅ义贤臣苹鞣耄核孀糯蠊婺Ｆ叫杏锪峡獾慕ⅲ约凹扑隳芰Φ牟欢显鲥义锨浚萸幕鞣氤晌鞣氲闹髁鞣椒ǎ臣苹鞣敕椒ㄔ蝈义鲜瞧渲械南惹Ｍ臣苹鞣胪纱识云耄逃锉聿檠餍蚝徒饴氲儒义息俑猛计圆┛湾澹瑁簦簦穑螅海恚澹洌椋酰恚妫颍澹澹悖铮洌澹悖幔恚穑铮颍纾幔瑁椋螅簦铮颍铮妫恚幔悖瑁椋睿澹簦颍幔睿螅欤幔簦椋铮睿妫颍铮
本文编号：2611101
【图文】：
机器翻译的研宄始于二十世纪四十年代。１９４７年，瓦伦？韦弗（Ｗａｒｒｅｎ逡逑Ｗｅａｖｅｒ）于写给友人的信中最早提及用电子计算机进行自动翻译的想法，并随逡逑后着手开始相关的研[偣ぷ鳎鞣氲难绣忱纷源苏箍Ｈ缤迹保彼荆浚义匣鞣氲南喙匮芯看笾戮缦氯鼋锥危哄义瞎嬖蚧鞣耄鹤钤绲幕鞣胂低秤煞牍嬖蚬菇ā７牍嬖蛲耆捎镥义涎匝Ъ疑杓疲ǚ胨璧拇实洌驼攵圆煌镅缘姆牍嬖颉９嬖蚍义弦胂低衬芄桓鼍嫉摹⒎嫌锓ü嬖虻姆耄悄岩杂Χ韵质抵懈髦皱义咸厥獾挠镅韵窒蟆４送猓嬖蛳低炒罱ê臀さ娜肆Τ杀疽簿痈卟幌拢还驽义显蛳低车姆夯芰σ脖冉喜睿牍嬖蛲嬖诓灰恢碌那榭觥Ｕ庑┪侍忮义显谡庖唤锥窝现刂圃剂嘶鞣氲氖涤眉壑怠ｅ义贤臣苹鞣耄核孀糯蠊婺Ｆ叫杏锪峡獾慕ⅲ约凹扑隳芰Φ牟欢显鲥义锨浚萸幕鞣氤晌鞣氲闹髁鞣椒ǎ臣苹鞣敕椒ㄔ蝈义鲜瞧渲械南惹Ｍ臣苹鞣胪纱识云耄逃锉聿檠餍蚝徒饴氲儒义息俑猛计圆┛湾澹瑁簦簦穑螅海恚澹洌椋酰恚妫颍澹澹悖铮洌澹悖幔恚穑铮颍纾幔瑁椋螅簦铮颍铮妫恚幔悖瑁椋睿澹簦颍幔睿螅欤幔簦椋铮睿妫颍铮
本文编号：2611101
本文链接：https://www.wllwen.com/wenyilunwen/yuyanyishu/2611101.html
