面向图片描述翻译的模态适应性研究

发布时间：2021-06-28 05:51

　　图片描述翻译任务是通过机器翻译系统,将图片源语言端描述翻译为目标语言。图片描述都是以短文本为主,无法为翻译系统提供足够的上下文信息。因此,如何将图片信息更好的融入翻译系统,从而解决跨模态信息融合问题是该任务的重点。本文从统计机器翻译、神经机器翻译出发,集中研究具有较强适应性的图片描述翻译优化方法。在统计机器翻译中,本文针对语料中的歧义词问题,通过图片主题信息对翻译模型进行优化;在神经机器翻译中,本文通过优化图片特征对语言特征学习的支持性作用提高翻译系统的性能。本文集中研究图片描述翻译的模态适应性,具体内容包括以下三个方面:（1）融合图片主题信息的翻译模型优化方法通用领域翻译模型不能准确进行歧义词翻译,针对该问题,提出一种基于图片主题信息优化翻译模型方法。该方法旨在从大规模图片-文档对应的语料中挖掘相似于图片内容的文档集合,借以分析图片的主题信息,进而将图片主题信息融入统计机器翻译系统中的翻译模型,这一过程有助于加强翻译系统的领域自适应能力,提高系统的性能。实验结果表明,相比较于基准系统,这一方法在测试集上提高0.74个百分点。（2）图片描述翻译中面向主题优化的关联语句抽取方法针对图片主... 

【文章来源】：苏州大学江苏省

【文章页数】：71 页

【学位级别】：硕士

【部分图文】：

图２－１统计机器翻译流程图??

２４＇２５］等人分别实??现了相应的完全基于神经网络的机器翻译模型。这些均属于经典的神经机器翻译模??型，本质上是序列到序列的模型，不仅可以用于机器翻译，还可以用于其他序列任??务，比如：问答、摘要生成等。神经机器翻译采用连续空间表示词语、短语以及句??子。在翻译建模过程中，完全采用神经网络进行源端句子到目标端句子的映射。目??前，ｆｃ流的神经机器翻译系统主要有Ｇｏｏｇｌｅ提出的端到端模型％以及蒙特利尔人学??提出的编码器－解码器模型｜２３１。本文主要基ｆ编码器－解码器模型进行实验，图２－２展??示，编码器－解码器模型的基本框架图：??ｍｏｉ?ｓｕｉｓ?ｅｔｕｄｉａｎｔ?〈／ｓ〉??ｅｔｕｄｉａｎｔ?＾?＾??？?０？?１?０？?１?０．２?ｊ?Ｉ?０．?６??Ｊｅ?０．３?｜?０．?１?０．?１?丨丨?０．?１??Ｍｏｉ?〇．ｌ?０．１?ｉ?０．１??ｓｕｉｓ?々；丨丨０＋６ｈ?４丨々：??Ｈ?１１?４?ｉｌ?１??Ｈｉ：?Ｉ??“?ａ?ｉｉ?“??Ｉ?ａｍ?ａ?ｓｔｕｄｅｎｔ?＜ｓ＞?ｍｏｉ?ｓｕｉｓ?ｅｔｕｄｉａｎｔ??图２－２编码器－解码器模型基本框架图??编码器＿解码器模型主要里包含三部分：词嵌入层、编码层以及解码层。如图２－??２所示，“／麵＜７?．ｖｍｄＣ表示源端句子，它上面两层实线框分别表不源端词嵌入以及??编码层；“＜ｓ＞所仍則以—广表不目标端句子，它上面两层实线框分别表亦目标??端词嵌入以及解码层。其中，编码器或者解码器可以由循环神经网络［２７】（Ｒｅｃｒｎｒｅｍ??１１??

的翻译模型优化方法?面向图片描述翻译的模态适应性研究??ｒ???，??！?ｔ／阁片描述＋：￣７??￣题分布?／?！??Ｉ?Ｉ??Ｉ???Ｉ??！?／短语对在描￣７????！?／?述中的出现?Ａ－＾ｊ?－短语翻译模型??｜／?次＾?／?！???：＝［＝：：??！?｜短语对在＾个七题｜?！??｜?下的翻译分布?｜??！?Ｌ￣，￣?！??■?１????！?ｙ阁片描述＋：—７紳３丨＋：题＇巧翻叫??；７?题分布／??Ｉ?Ｉ??图３－１融合图片主题信息的图片描述翻译框架图??题信息的短语特征包含三种，分别是主题相关的正向翻译概率（Ｔｏｐｉｃ－Ｂａｓｅｄ?Ｐｏｓｉｔｉｖｅ??Ｔｒａｎｓｌａｔｉｏｎ?Ｐｒｏｂａｂｉｌｉｔｙ，简写为ＴＢ－ＰＴＰ）、主题相关的反向翻译概率（Ｔｏｐｉｃ－Ｂａｓｅｄ??Ｎｅｇａｔｉｖｅ?Ｔｒａｎｓｌａｔｉｏｎ?Ｐｒｏｂａｂｉｌｉｔｙ，简写为ＴＢ－ＮＴＰ）以及主题敏感度（Ｔｏｐｉｃ?Ｓｅｎｓｉｔｉｖｉｔｙ，??简写为ＴＳ）。其中，ＴＢ－ＰＴＰ和ＴＢ－ＮＴＰ通过主题信息对传统的正向以及反向翻译概率??（即ＰＴＰ和ＮＴＰ）进行改进。此外，ＴＳ也是一种结合主题信息的翻译特征，其对翻译??消歧的贡献Ｗ己经获得验证。??表３－１传统短语特征??ＰＴＰ?￣ＮＴＰ￣ＬＰＴＰＬＮＴＰ??－８．９５８９３￣￣－２．８８９１５－２．０７９４４￣￣０．１０８８３２??表３－２融入主题信息的短语特征??ＴＢ－ＰＴＰ?ＴＢ－ＮＴＰ?ＴＳ??０．０００１２２４?０．１１１９５４３?３．３０２３６７９??我们借助表３－１和表３－２，对传统的短语特征和基


本文编号：3253751