基于Transformer的蒙汉神经机器翻译研究

发布时间：2022-02-18 18:36

　　针对传统循环神经网络和卷积神经网络的缺点,搭建完全基于多头自注意力机制的Transformer蒙汉神经机器翻译模型。实验结果表明,该模型比基于LSTM的蒙汉翻译模型提高了9个BLEU值左右。这说明Transformer翻译模型在句子语义提取和语义表达方面优于LSTM翻译模型。同时在语料预处理阶段,还对中蒙文语料进行了不同粒度的切分。通过实验对比分析,蒙文进行BPE处理后的翻译结果优于对中文单独使用分词处理的结果;在较小语料库中,对中文进行分字处理效果优于分词效果。 

【文章来源】：计算机应用与软件. 2020,37(02)北大核心

【文章页数】：7 页

【文章目录】：
0 引 言
1 神经网络机器翻译
    1.1 Transformer
        1.1.1 注意力机制
        1.1.2 位置编码
        1.1.3 前馈神经网络
    1.2 融合多粒度
2 实 验
    2.1 实验设置
    2.2 实验结果
3 结 语


【参考文献】：
期刊论文
[1]子字粒度切分在蒙汉神经机器翻译中的应用[J]. 任众,侯宏旭,吉亚图,武子玉,白天罡,雷颖.  中文信息学报. 2019(01)
[2]基于子字单元的神经机器翻译未登录词翻译分析[J]. 韩冬,李军辉,熊德意,周国栋.  中文信息学报. 2018(04)
[3]多策略机器翻译研究综述[J]. 李业刚,黄河燕,史树敏,冯冲,苏超.  中文信息学报. 2015(02)



本文编号：3631343