基于联合学习的中英神经机器翻译方法研究
发布时间：2021-11-23 21:20
基于深度学习的神经机器翻译技术显著提高了机器翻译的质量,但是仍然存在很多问题。其一,模型训练存在着数据稀疏问题,实际任务中通常难以获得充足的平行语料库进行模型训练,这使得模型在面对低资源领域的翻译任务中,翻译效果难以达到预期;其二,多层级联的网络结构将表示信息传递到末层,但在一定程度上会损失中间层捕获到的有效信息,而且,利用最大似然估计原理的训练方法所构建的损失函数是以词为单元的,在句子或者篇章级别翻译任务中,效果较差,而且会存在训练阶段与测试阶段的不一致性问题;其三,在机器译文的评测方面,传统方法多采用BLEU、NIST等评测指标,这些指标仅衡量了译文评测的单方面信息,考虑不够全面。本文针对上述问题,进行了相关的研究,主要工作如下:第一,针对双语平行语料获取困难的难题,对语料的扩充技术进行了研究,提出了基于EM算法的语料生成联合学习方法,将EM算法应用于神经机器翻译模型Transformer的训练中,语料生成任务作为主任务,Transformer的训练作为辅助任务,利用机器译文对平行语料库进行扩充。通过实验,验证了这种方法的有效性。第二,针对多层级联的深度模型所造成的中间层信息损失以...
【文章来源】：陕西科技大学陕西省
【文章页数】：81 页
【学位级别】：硕士
【部分图文】：
图４－１分类模型的训练过程??Ｆｉｇ．?４－１?Ｔｒａｉｎｉｎｇ?ｐｒｏｃｅｄｕｒｅ?ｏｆ?ｔｈｅ?ｃｌａｓｓｉｆｉｃａｔｉｏｎ?ｍｏｄｅｌ??
Ａｄｄ＆Ｎｏｒｍ???？?Ａｄｄ＆Ｎｏｒｍ??？后续层??Ｊ?Ｘ?Ｉ????Ｆｅｅｄ?Ｆｅｅｄ?Ｆｅｅｄ??Ｆｏｒｗａｒｄ?Ｆｏｒｗａｒｄ?Ｆｏｒｗａｒｄ??Ｉ?Ｉ?Ｉ???？?Ａｄｄ＆Ｎｏｒｍ??？?Ａｄｄ＆Ｎｏｒｍ??Ｍｕｌｔｉ－Ｈｅａｄ?Ｍｕｌｔｉ－Ｈｅａｄ?＾?Ｍｅｒｇｅ??Ａｔｔｅｎｔｉｏｎ?Ａｔｔｅｎｔｉｏｎ?Ｌａｙｅｒ??ａ?八?Ａ??Ｉｎｐｕｔ?Ｅｍｂｅｄｄｉｎｇ??＋??Ｐｏｓｉｔｉｏｎ?Ｅｎｃｏｄｉｎｇ??图４－２?ＡＴｒａｎｓｆｏｒｍｅｒ编码器单模块架构??Ｆｉｇ．?４－２?Ｔｈｅ?ｓｉｎｇｌｅ?ｍｏｄｕｌｅ?ａｒｃｈｉｔｅｃｔｕｒｅ?ｏｆ?ＡＴｒａｎｓｆｏｒｍｅｒ?ｅｎｃｏｄｅｒ??３５??
?ＤＳＬ＼ｌ＾］?＝?ＬａｙｅｒＮｏｒｍ｛ａｔｔｅｎｔｉｏｎ｛ＤＭＳ＾，?Ｋ［ＥＬ］，?）?＋?ＤＭＳ＾?）?（４－１０）??ＤＳＬ２＾?＝?ＬａｙｅｒＮｏｒｍ（ＦＣ｛ＤＳＬｌ［＾?）?＋?ＤＳＬ＼｛＾?）?（４－１１）??解码器合并层的结果可以通过为式（４－７）计算得到。在上面的计算过程中，－１］、??Ｆ＾＿１］是从第Ｌ?－１个解码器层１］转换得到的，而尤＾和］来自于编码器端的最后??一层，解码器端最后一层的结果乃见２＾用于生成最终的输出序列。同理，简化之后的解??码器的结构如图４－５所示。??Ｏｕｔｐｕｔ??Ｐｒｏｂａｂｉｌｉｔｙ??ｓ??Ｓｏｆｔｍａｘ????Ｌｉｎｅａｒ??＾?Ｌ１?＼?平??＾?Ｍｅｒｇｅ?????Ｌａｙｅｒ???？?Ｌ５?’?？??Ｅｎｃｏｄｅｒ?—Ｔ?????？?Ｌ４?、??Ｍｅｒｇｅ???????Ｌａｙｅｒ???？?Ｌ３?’?？???？?Ｌ２?＼??＾?Ｍｅｒｇｅ????＾?Ｌａｙｅｒ???？?ＬＩ?’??图４－５?ＡＴｒａｎｓｆｏｒｍｅｒ解码器简化结构??Ｆｉｇ．?４－５?Ｔｈｅ?ｓｉｍｐｌｉｆｉｅｄ?ｓｔｒｕｃｔｕｒｅ?ｏｆ?ＡＴｒａｎｓｆｏｒｍｅｒ?ｄｅｃｏｄｅｒ??３８??
【参考文献】：
期刊论文
[1]神经网络机器翻译研究热点与前沿趋势分析[J]. 林倩,刘庆,苏劲松,林欢,杨静,罗斌. 中文信息学报. 2019(11)
[2]基于联合学习的问答情感分类方法[J]. 安明慧,沈忱林,李寿山,李逸薇. 中文信息学报. 2019(10)
[3]基于联合学习的跨领域法律文书中文分词方法[J]. 江明奇,严倩,李寿山. 中文信息学报. 2019(09)
[4]基于改进seq2seq模型的英汉翻译研究[J]. 肖新凤,李石君,余伟,刘杰,刘倍雄. 计算机工程与科学. 2019(07)
[5]多层信息融合的神经机器翻译[J]. 周孝青,段湘煜,俞鸿飞,张民. 厦门大学学报(自然科学版). 2019(02)
[6]基于SA-SVM的中文文本分类研究[J]. 郭超磊,陈军华. 计算机应用与软件. 2019(03)
[7]机器翻译方法研究与发展综述[J]. 侯强,侯瑞丽. 计算机工程与应用. 2019(10)
[8]神经机器翻译综述[J]. 李亚超,熊德意,张民. 计算机学报. 2018(12)
[9]T-Reader:一种基于自注意力机制的多任务深度阅读理解模型[J]. 郑玉昆,李丹,范臻,刘奕群,张敏,马少平. 中文信息学报. 2018(11)
[10]基于简单循环单元的深层神经网络机器翻译模型[J]. 张文,冯洋,刘群. 中文信息学报. 2018(10)
博士论文
[1]机器翻译中的模型学习问题研究[D]. 陈华栋.南京大学 2018
[2]融合结构信息的神经机器翻译模型研究[D]. 王星.苏州大学 2018
[3]用于自然语言分布式表达的联合学习方法研究[D]. 田飞.中国科学技术大学 2016
[4]自然语言处理中序列标注问题的联合学习方法研究[D]. 李鑫鑫.哈尔滨工业大学 2014
[5]统计机器翻译判别式训练方法研究[D]. 刘乐茂.哈尔滨工业大学 2013
硕士论文
[1]基于深度神经网络的中英机器翻译模型研究[D]. 邵博.西南交通大学 2018
[2]神经机器翻译网络结构建模研究[D]. 张飚.厦门大学 2018
[3]基于实例的汉英依存树到串机器翻译方法研究[D]. 王丹丹.北京交通大学 2016
[4]EM算法及其应用[D]. 张宏东.山东大学 2014
[5]英汉跨语言问答系统中的文档语义检索[D]. 杨田.大连理工大学 2011
[6]面向模板机器翻译的文本生成技术研究[D]. 杨怀志.东北大学 2011
[7]基于SVM的汉语依存句法分析研究[D]. 王玉丹.中国海洋大学 2010
[8]基于SVM和TSVM的中文实体关系抽取[D]. 徐芬.国防科学技术大学 2007
本文编号：3514663
【文章来源】：陕西科技大学陕西省
【文章页数】：81 页
【学位级别】：硕士
【部分图文】：
图４－１分类模型的训练过程??Ｆｉｇ．?４－１?Ｔｒａｉｎｉｎｇ?ｐｒｏｃｅｄｕｒｅ?ｏｆ?ｔｈｅ?ｃｌａｓｓｉｆｉｃａｔｉｏｎ?ｍｏｄｅｌ??
Ａｄｄ＆Ｎｏｒｍ???？?Ａｄｄ＆Ｎｏｒｍ??？后续层??Ｊ?Ｘ?Ｉ????Ｆｅｅｄ?Ｆｅｅｄ?Ｆｅｅｄ??Ｆｏｒｗａｒｄ?Ｆｏｒｗａｒｄ?Ｆｏｒｗａｒｄ??Ｉ?Ｉ?Ｉ???？?Ａｄｄ＆Ｎｏｒｍ??？?Ａｄｄ＆Ｎｏｒｍ??Ｍｕｌｔｉ－Ｈｅａｄ?Ｍｕｌｔｉ－Ｈｅａｄ?＾?Ｍｅｒｇｅ??Ａｔｔｅｎｔｉｏｎ?Ａｔｔｅｎｔｉｏｎ?Ｌａｙｅｒ??ａ?八?Ａ??Ｉｎｐｕｔ?Ｅｍｂｅｄｄｉｎｇ??＋??Ｐｏｓｉｔｉｏｎ?Ｅｎｃｏｄｉｎｇ??图４－２?ＡＴｒａｎｓｆｏｒｍｅｒ编码器单模块架构??Ｆｉｇ．?４－２?Ｔｈｅ?ｓｉｎｇｌｅ?ｍｏｄｕｌｅ?ａｒｃｈｉｔｅｃｔｕｒｅ?ｏｆ?ＡＴｒａｎｓｆｏｒｍｅｒ?ｅｎｃｏｄｅｒ??３５??
?ＤＳＬ＼ｌ＾］?＝?ＬａｙｅｒＮｏｒｍ｛ａｔｔｅｎｔｉｏｎ｛ＤＭＳ＾，?Ｋ［ＥＬ］，?）?＋?ＤＭＳ＾?）?（４－１０）??ＤＳＬ２＾?＝?ＬａｙｅｒＮｏｒｍ（ＦＣ｛ＤＳＬｌ［＾?）?＋?ＤＳＬ＼｛＾?）?（４－１１）??解码器合并层的结果可以通过为式（４－７）计算得到。在上面的计算过程中，－１］、??Ｆ＾＿１］是从第Ｌ?－１个解码器层１］转换得到的，而尤＾和］来自于编码器端的最后??一层，解码器端最后一层的结果乃见２＾用于生成最终的输出序列。同理，简化之后的解??码器的结构如图４－５所示。??Ｏｕｔｐｕｔ??Ｐｒｏｂａｂｉｌｉｔｙ??ｓ??Ｓｏｆｔｍａｘ????Ｌｉｎｅａｒ??＾?Ｌ１?＼?平??＾?Ｍｅｒｇｅ?????Ｌａｙｅｒ???？?Ｌ５?’?？??Ｅｎｃｏｄｅｒ?—Ｔ?????？?Ｌ４?、??Ｍｅｒｇｅ???????Ｌａｙｅｒ???？?Ｌ３?’?？???？?Ｌ２?＼??＾?Ｍｅｒｇｅ????＾?Ｌａｙｅｒ???？?ＬＩ?’??图４－５?ＡＴｒａｎｓｆｏｒｍｅｒ解码器简化结构??Ｆｉｇ．?４－５?Ｔｈｅ?ｓｉｍｐｌｉｆｉｅｄ?ｓｔｒｕｃｔｕｒｅ?ｏｆ?ＡＴｒａｎｓｆｏｒｍｅｒ?ｄｅｃｏｄｅｒ??３８??
【参考文献】：
期刊论文
[1]神经网络机器翻译研究热点与前沿趋势分析[J]. 林倩,刘庆,苏劲松,林欢,杨静,罗斌. 中文信息学报. 2019(11)
[2]基于联合学习的问答情感分类方法[J]. 安明慧,沈忱林,李寿山,李逸薇. 中文信息学报. 2019(10)
[3]基于联合学习的跨领域法律文书中文分词方法[J]. 江明奇,严倩,李寿山. 中文信息学报. 2019(09)
[4]基于改进seq2seq模型的英汉翻译研究[J]. 肖新凤,李石君,余伟,刘杰,刘倍雄. 计算机工程与科学. 2019(07)
[5]多层信息融合的神经机器翻译[J]. 周孝青,段湘煜,俞鸿飞,张民. 厦门大学学报(自然科学版). 2019(02)
[6]基于SA-SVM的中文文本分类研究[J]. 郭超磊,陈军华. 计算机应用与软件. 2019(03)
[7]机器翻译方法研究与发展综述[J]. 侯强,侯瑞丽. 计算机工程与应用. 2019(10)
[8]神经机器翻译综述[J]. 李亚超,熊德意,张民. 计算机学报. 2018(12)
[9]T-Reader:一种基于自注意力机制的多任务深度阅读理解模型[J]. 郑玉昆,李丹,范臻,刘奕群,张敏,马少平. 中文信息学报. 2018(11)
[10]基于简单循环单元的深层神经网络机器翻译模型[J]. 张文,冯洋,刘群. 中文信息学报. 2018(10)
博士论文
[1]机器翻译中的模型学习问题研究[D]. 陈华栋.南京大学 2018
[2]融合结构信息的神经机器翻译模型研究[D]. 王星.苏州大学 2018
[3]用于自然语言分布式表达的联合学习方法研究[D]. 田飞.中国科学技术大学 2016
[4]自然语言处理中序列标注问题的联合学习方法研究[D]. 李鑫鑫.哈尔滨工业大学 2014
[5]统计机器翻译判别式训练方法研究[D]. 刘乐茂.哈尔滨工业大学 2013
硕士论文
[1]基于深度神经网络的中英机器翻译模型研究[D]. 邵博.西南交通大学 2018
[2]神经机器翻译网络结构建模研究[D]. 张飚.厦门大学 2018
[3]基于实例的汉英依存树到串机器翻译方法研究[D]. 王丹丹.北京交通大学 2016
[4]EM算法及其应用[D]. 张宏东.山东大学 2014
[5]英汉跨语言问答系统中的文档语义检索[D]. 杨田.大连理工大学 2011
[6]面向模板机器翻译的文本生成技术研究[D]. 杨怀志.东北大学 2011
[7]基于SVM的汉语依存句法分析研究[D]. 王玉丹.中国海洋大学 2010
[8]基于SVM和TSVM的中文实体关系抽取[D]. 徐芬.国防科学技术大学 2007
本文编号：3514663
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3514663.html
最近更新
教材专著
