翻译质量估计模型中训练样本改进方法研究
发布时间：2021-03-10 09:51
随着机器翻译技术的发展和应用,机器翻译结果出现在更多的场景中,但是翻译质量却无法保证,用户需要了解机器翻译结果的质量来决定是否对其进行采用。机器翻译质量估计（Quality Estimation,QE）是机器翻译领域的一项关键任务,可以仅根据源语言句子和机器译文来对译文的质量进行打分。与翻译自动评价的方法不同,翻译质量估计不需要使用参考译文,能够节省大量的人力和资源,适合于大规模无参考译文的机器译文质量评估场景。在QE任务中,一个关键的问题是数据稀缺,翻译质量估计数据的标注需要专业的翻译人员参与,对机器译文进行后编辑,从而得到质量较好的后编辑译文,这一过程费时费力。故现有的QE数据集的规模普遍较小,一般只有2万到3万,与平行语料百万上千万的规模相比,是十分稀少的。本文为解决翻译质量估计数据稀缺问题,从三个层面展开研究,分别为模型层面、训练任务层面和数据层面,提出了一种新的QE模型架构,并探索预训练任务对QE的影响,最后使用数据增强方法扩大了QE数据集的规模。本文的主要贡献如下:第一,本文提出了一个基于掩码预测的翻译质量估计模型,通过分析当前QE主流框架“Predictor-Estima...
【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校
【文章页数】：68 页
【学位级别】：硕士
【部分图文】：
本课题主要研究内容结构图
哈尔滨工业大学工学硕士学位论文第2章基于掩码预测的翻译质量估计模型近年来，基于Predictor-Estimator架构[25]的翻译质量估计模型成为主流。通常来说，该架构包含预测器（Predictor）和估计器（Estimator），预测器基于Encoder-Decoder架构，使用大规模平行语料进行预训练，训练任务是对目标端句子中的每个词进行预测；估计器则是在训练好的预测器基础上，进一步使用翻译质量估计数据继续训练。基于Predictor-Estimator架构的QE模型在许多QE评测任务中获得了较好的成绩[27,28,36]。图2-1BilingualExpert模型示意图以Kai等人[26]提出的BilingualExpert模型为例，该模型在WMT2018多项翻译质量估计任务中获得最好成绩，结构如图2-1所示。模型中Predictor使用了一个编码器对源端句子进行编码，正反向两个解码器对目标端句子进行学习。为了获得双向的句子表示，模型将正向解码器的输出和反向解码器的输出拼接，得到的向量称为特征向量，然后将特征向量输入到基于双向LSTM的估计器中进行质量估计。(a)forward(b)backward(c)masked图2-2三种方向进行词预测的对比-10-
哈尔滨工业大学工学硕士学位论文与传统Predictor-Estimator模型的差异，图中橙色箭头和绿色箭头分别代表预训练阶段和QE阶段模型参数更新的范围。2.1.4模型架构本模型的架构与传统Transformer模型较为类似，包含一个编码器（Encoder）和一个解码器（Decoder），其中编码器采用Transformer模型的编码器，共六层，每层由两部分组成，第一部分为多头自注意力层(Multi-HeadSelfAttention)，第二部分为前馈神经网络(Position-wiseFeed-ForwardNetworks)。解码器总体采用Transformer的解码器架构，共六层，每层由三部分组成，第一部分为多头的自注意力层(Multi-HeadSelfAttention)，第二部分为源端注意力层(Multi-HeadAttention)，第三部分为前馈神经网络(Position-wiseFeed-ForwardNetworks)。模型隐藏层大小为512，对于多头注意力层，头的个数为8，前馈神经网络隐层大小为2048。图2-5为本模型的架构图。图2-5模型架构图机器翻译任务（MT）和翻译质量估计任务（QE）存在着许多相似之处，例如-15-
【参考文献】：
期刊论文
[1]多特征融合的句子级译文质量估计方法[J]. 叶娜,王远远,蔡东风. 厦门大学学报(自然科学版). 2020(02)
[2]基于多语言预训练语言模型的译文质量估计方法[J]. 陆金梁,张家俊. 厦门大学学报(自然科学版). 2020(02)
[3]基于子词的句子级别神经机器翻译的译文质量估计方法[J]. 李培芸,翟煜锦,项青宇,李茂西,裘白莲,罗文兵,王明文. 厦门大学学报(自然科学版). 2020(02)
[4]融合翻译知识的机器翻译质量估计算法[J]. 孙潇,朱聪慧,赵铁军. 智能计算机与应用. 2019(02)
[5]基于伪数据的机器翻译质量估计模型的训练[J]. 吴焕钦,张红阳,李静梅,朱俊国,杨沐昀,李生. 北京大学学报(自然科学版). 2018(02)
本文编号：3074474
【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校
【文章页数】：68 页
【学位级别】：硕士
【部分图文】：
本课题主要研究内容结构图
哈尔滨工业大学工学硕士学位论文第2章基于掩码预测的翻译质量估计模型近年来，基于Predictor-Estimator架构[25]的翻译质量估计模型成为主流。通常来说，该架构包含预测器（Predictor）和估计器（Estimator），预测器基于Encoder-Decoder架构，使用大规模平行语料进行预训练，训练任务是对目标端句子中的每个词进行预测；估计器则是在训练好的预测器基础上，进一步使用翻译质量估计数据继续训练。基于Predictor-Estimator架构的QE模型在许多QE评测任务中获得了较好的成绩[27,28,36]。图2-1BilingualExpert模型示意图以Kai等人[26]提出的BilingualExpert模型为例，该模型在WMT2018多项翻译质量估计任务中获得最好成绩，结构如图2-1所示。模型中Predictor使用了一个编码器对源端句子进行编码，正反向两个解码器对目标端句子进行学习。为了获得双向的句子表示，模型将正向解码器的输出和反向解码器的输出拼接，得到的向量称为特征向量，然后将特征向量输入到基于双向LSTM的估计器中进行质量估计。(a)forward(b)backward(c)masked图2-2三种方向进行词预测的对比-10-
哈尔滨工业大学工学硕士学位论文与传统Predictor-Estimator模型的差异，图中橙色箭头和绿色箭头分别代表预训练阶段和QE阶段模型参数更新的范围。2.1.4模型架构本模型的架构与传统Transformer模型较为类似，包含一个编码器（Encoder）和一个解码器（Decoder），其中编码器采用Transformer模型的编码器，共六层，每层由两部分组成，第一部分为多头自注意力层(Multi-HeadSelfAttention)，第二部分为前馈神经网络(Position-wiseFeed-ForwardNetworks)。解码器总体采用Transformer的解码器架构，共六层，每层由三部分组成，第一部分为多头的自注意力层(Multi-HeadSelfAttention)，第二部分为源端注意力层(Multi-HeadAttention)，第三部分为前馈神经网络(Position-wiseFeed-ForwardNetworks)。模型隐藏层大小为512，对于多头注意力层，头的个数为8，前馈神经网络隐层大小为2048。图2-5为本模型的架构图。图2-5模型架构图机器翻译任务（MT）和翻译质量估计任务（QE）存在着许多相似之处，例如-15-
【参考文献】：
期刊论文
[1]多特征融合的句子级译文质量估计方法[J]. 叶娜,王远远,蔡东风. 厦门大学学报(自然科学版). 2020(02)
[2]基于多语言预训练语言模型的译文质量估计方法[J]. 陆金梁,张家俊. 厦门大学学报(自然科学版). 2020(02)
[3]基于子词的句子级别神经机器翻译的译文质量估计方法[J]. 李培芸,翟煜锦,项青宇,李茂西,裘白莲,罗文兵,王明文. 厦门大学学报(自然科学版). 2020(02)
[4]融合翻译知识的机器翻译质量估计算法[J]. 孙潇,朱聪慧,赵铁军. 智能计算机与应用. 2019(02)
[5]基于伪数据的机器翻译质量估计模型的训练[J]. 吴焕钦,张红阳,李静梅,朱俊国,杨沐昀,李生. 北京大学学报(自然科学版). 2018(02)
本文编号：3074474
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3074474.html
最近更新
教材专著
