融合预训练语言模型的机器译文质量评估

发布时间：2021-11-10 00:31

　　近年来,神经机器翻译技术取得了重大突破并得到了迅速的应用和推广。但是,依然存在诸如机器译文质量评估问题、集外词问题、长句翻译问题、过翻和漏翻问题等。机器译文质量评估（Quality Estimation,QE）是研究如何解决在没有参考译文的情况下对机器译文的质量进行评估的问题,其研究成果不仅可以帮助机器翻译系统过滤掉低质量的翻译结果,以及构建高质量的平行语料库,还可减少译后编辑的工作量。因此,该研究具有重要的研究意义和实用价值。现有的QE方法主要包括两类,一种是基于机器学习的方法,另一种是基于深度学习的方法。这两种方法都致力于提取与QE任务紧密相关的特征,抽取的特征的好坏决定了系统性能的优劣。近期,预训练语言模型刷新了多个自然语言处理任务的最佳成绩,展现出强大的表征学习能力。因此,本文主要探索如何将预训练语言模型融入到QE任务中,以提升QE的性能。本文的主要工作和创新点包括:（1）提出了一种将ELMO、GPT和BERT等预训练语言模型提取出的机器译文特征和“双语专家”模型提取出的特征相融合的机器译文质量评估方法。两者提取到的特征相互补充可有效缓解QE任务特征稀疏问题。实验结果证明,在句... 

【文章来源】：北京交通大学北京市 211工程院校 教育部直属院校

【文章页数】：66 页

【学位级别】：硕士

【部分图文】：

图２－１?ＱｕＥｓｔ特征族??ｒ－ｒ．??

“ＯＫ”?／”?ＢＡＤ”??图２－２?ＱＵＥＴＣＨ模型组合架构??Ｆｉｇｕｒｅ?２－２?ＱＵＥＴＣＨ?ｍｏｄｅｌ?ｃｏｍｂｉｎａｔｉｏｎ?ａｒｃｈｉｔｅｃｔｕｒｅ??Ｋｒｅｕｔｚｅｒ等人问于２０１５年使用模型组合的方式以解决词级别ＱＥ任务，模型可??以分为两个部分。一部分是神经网络模块，其输入为源端和目标端的词向量，词??向量并不是单个词所对应的词向量，而是以目标词为中心，固定窗口大小内的词??向量的拼接，经过前馈神经网络运算后，将隐层表示进行线性变换最后使用??１０??

正则化系数为ＣｅＵＯ＾ＵＰＨａｍｍｉｎｇ损失项，该损失项给错误的正例赋予??了比错误的负例更大的惩罚心ｅ?｛０．５，０．５５，．．．?，０．９５｝，ｃ，，ｖ?＝ｌ－ｃ＞Ｐ，来解决错误标签??比正确标签更少的问题。而纯粹的神经网络模型（ＮＥＵＲＡＬＱＥ）如图２－４所示。??该系统接收源端和目标端的句子ｓ和ｔ作为其输出，以及它们词级别的对齐乂??和由ＴｕｒｂｏＴａｇｇｅｒ所得到的词性标注。除了额外增加的词性标注特征，输入层的架??构与ＱＵＥＴＣＨ相似。对于目标端的每个单词的表示，是将该词与其对齐的词的嵌??入表示相拼接得到的。两端的词左右两侧的文本也被拼接到了一起。接下来，该??系统堆叠了如下的几层神经网络：??（１）

【参考文献】：
硕士论文
[1]基于神经网络机器翻译的机器译文质量估计研究[D]. 孙潇.哈尔滨工业大学 2018
[2]融合语义概念的神经机器翻译集外词处理方法研究[D]. 李少童.北京交通大学 2018
[3]层次短语模型的日语时态翻译研究[D]. 明芳.北京交通大学 2017
[4]英汉机器翻译系统自动评测方法的研究与实现[D]. 张丽云.北京工业大学 2006



本文编号：3486211