机器翻译上下文表示方法研究

发布时间：2024-01-30 12:07

　　近些年,通过大规模神经网络将自然语言单元表示为连续空间向量用以代替传统的离散符号的方法,极大地提升了各种自然语言处理任务的性能。机器翻译作为自然语言处理领域中最具挑战性的研究任务之一,从最初利用神经网络方法改善统计机器翻译模型,再到构建端到端的神经网络机器翻译模型,机器翻译取得了巨大的进步。面向机器翻译的神经网络方法通常基于句子中的上下文信息来隐式地学习源端句子表示和目标端译文生成。由此可见,上下文信息在机器翻译中扮演着极为重要的角色。神经网络方法能够通过连续空间的向量捕获翻译上下文信息和被预测目标单词之间的语义相似性,但由于神经网络的训练具有较高的时空复杂度,导致其仅仅在词级别上来模拟翻译上下文信息用于生成目标语言翻译。直观上,一个自然语言句子的构成,不仅包括基本的词级别信息,而且包括高阶上下文信息,比如局部上下文、结构化上下文和句子级主题上下文等信息。与基本的单词信息相比,这些具有丰富翻译知识的上下文信息往往会导致大规模的高阶上下文单元,而直接通过神经网络建模又会面临严重的数据稀疏性问题和极大的时空复杂度。为此,本文首先探索如何利用神经网络来表示机器翻译中的高阶上下文单元,并以基于...

【文章页数】：128 页

【学位级别】：博士

【文章目录】：
摘要
Abstract
第1章 绪论
    1.1 机器翻译
        1.1.1 统计机器翻译
        1.1.2 神经网络机器翻译
    1.2 翻译上下文的研究意义和动机
        1.2.1 研究意义
        1.2.2 研究动机
    1.3 翻译上下文的研究现状
        1.3.1 基于离散符号的翻译上下文表示
        1.3.2 基于连续空间向量的翻译上下文表示
        1.3.3 面向神经网络机器翻译的上下文表示
    1.4 本文研究内容和组织结构
        1.4.1 研究内容
        1.4.2 组织结构
第2章 基于依赖的双语联合上下文表示
    2.1 引言
    2.2 相关工作
    2.3 基于依赖的双语上下文序列
        2.3.1 序列生成
        2.3.2 序列表示
    2.4 基于依赖的神经网络联合模型
        2.4.1 翻译预测
        2.4.2 模型训练
    2.5 具有基于依赖的神经网络联合模型的翻译解码
        2.5.1 具有基于依赖的神经网络联合模型的短语翻译解码
        2.5.2 具有基于依赖的神经网络联合模型的层次短语翻译解码
    2.6 实验结果与分析
        2.6.1 实验设置
        2.6.2 评估源端依赖
        2.6.3 评估基于依赖的双语组合序列
        2.6.4 评估基于依赖的神经网络联合模型
        2.6.5 面向英德翻译任务上的实验结果
        2.6.6 面向不同长度句子的翻译评估
        2.6.7 翻译实例分析
    2.7 本章小结
第3章 面向神经网络机器翻译的局部上下文表示
    3.1 引言
    3.2 相关工作
        3.2.1 面向机器翻译的词义消歧
        3.2.2 面向机器翻译的集外词翻译
    3.3 局部上下文表示
        3.3.1 前馈上下文感知模型
        3.3.2 卷积上下文感知模型
    3.4 具有局部上下文表示的神经网络机器翻译模型
        3.4.1 神经网络机器翻译中的词汇表示
        3.4.2 局部上下文策略
        3.4.3 翻译模型
    3.5 实验结果与分析
        3.5.1 实验设置
        3.5.2 翻译结果
        3.5.3 具有不同数目集外词句子的翻译评估
        3.5.4 翻译实例分析
    3.6 本章小结
第4章 面向神经网络机器翻译的结构化上下文表示
    4.1 引言
    4.2 相关工作
    4.3 面向神经网络机器翻译的注意力机制
        4.3.1 全局注意力机制
        4.3.2 局部注意力机制
    4.4 具有源端依赖上下文表示的神经网络机器翻译模型
        4.4.1 源端依赖上下文单元
        4.4.2 源端依赖上下文表示
        4.4.3 具有源端依赖表示的翻译模型
    4.5 句法导向的注意力机制
        4.5.1 句法距离约束
        4.5.2 句法导向注意力机制
        4.5.3 双上下文机制
    4.6 实验结果与分析
        4.6.1 实验设置
        4.6.2 翻译结果
        4.6.3 评估双上下文机制
        4.6.4 面向不同长度句子的翻译评估
    4.7 本章小结
第5章 面向神经网络机器翻译的句子级上下文表示
    5.1 引言
    5.2 相关工作
    5.3 句子级主题上下文表示
        5.3.1 句子表示中的主题信息
        5.3.2 学习源端隐含主题表示
    5.4 具有句子级主题上下文的神经网络机器翻译模型
        5.4.1 基于注意力的神经网络机器翻译模型
        5.4.2 面向隐含主题表示的注意力机制
        5.4.3 模型训练
    5.5 实验结果与分析
        5.5.1 实验设置
        5.5.2 翻译结果
        5.5.3 翻译实例
        5.5.4 主题注意力对齐展示
    5.6 本章小结
结论
参考文献
攻读博士学位期间发表的论文
致谢
个人简历



本文编号：3890124