基于跨语言迁移学习的实体关系抽取算法研究

发布时间：2023-02-10 21:02

　　随着互联网时代的到来,在数据与算力的双重加持下,深度学习引发的人工智能浪潮席卷全球,为了让计算机做到对语言的精准理解,需要赋予其大量的先验知识,这些知识主要以结构化知识进行表示。可是与现实世界快速增长的知识量相比,结构化知识的覆盖度仍未赶上。为解决这个问题,研究人员使用实体关系抽取算法自动抽取文本中蕴含的知识,但在非英文环境下,由于数据量和文本表示的问题,算法的抽取结果与英文算法的抽取结果间存在巨大差距。为了消除语言间的差异,目前方法多采用参数迁移,标注投影等启发式方法进行跨语言信息抽取,这些方法没有考虑语言间的差异,且多数需要给定严格的限制以保证效果。针对不同语言实体关系抽取模型之间的性能差距大,现有方法在语言间信息迁移效率不高的问题,本文探究高效的跨语言信息抽取技术,取得的主要成果有:1、基于反向注意力机制的命名实体识别:该方法反向采用翻译模型的注意力权重进行信息迁移,将预训练的高资源语言命名实体识别模型提取的特征用于低资源语言命名实体识别。翻译模型注意力权重的对齐信息相比于人为标注更加精确,并且对齐信息的对称性可以将预训练模型中得到的任务相关特征迁移到源语言,从而丰富原始数据的语...

【文章页数】：80 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第1章 绪论
    1.1 研究背景
    1.2 研究现状
        1.2.1 实体关系抽取
        1.2.2 跨语言迁移学习
    1.3 研究内容及创新点
    1.4 论文组织结构
第2章 相关技术与理论
    2.1 常用特征提取器
        2.1.1 循环神经网络
        2.1.2 卷积神经网络
        2.1.3 Transformer
    2.2 词向量
        2.2.1 静态稠密词向量
        2.2.2 动态稠密词向量
    2.3 注意力机制
    2.4 本章小结
第3章 基于反向注意力机制的实体抽取
    3.1 引言
    3.2 相关工作
    3.3 模型描述
        3.3.1 基于注意力机制的源语言-英文翻译模块
        3.3.2 预训练英文命名实体识别模块
        3.3.3 反向注意力信息迁移
        3.3.4 信息增强的命名实体识别模块
    3.4 实验与分析
        3.4.1 实验数据
        3.4.2 标注规范与评价指标
        3.4.3 实验设置
        3.4.4 参数设置
        3.4.5 实验结果与分析
    3.5 本章小结
第4章 基于知识一致性的跨语言关系抽取
    4.1 引言
    4.2 相关工作
    4.3 跨语言分段卷积神经网络
        4.3.1 翻译语言模型
        4.3.2 单语膨胀卷积编码器
        4.3.3 分段最大池化
        4.3.4 分类层
        4.3.5 模型的训练
    4.4 实验与分析
        4.4.1 实验数据及预处理
        4.4.2 评价指标
        4.4.3 实验设置
        4.4.4 参数设置
        4.4.5 实验结果与分析
    4.5 本章小结
第5章 总结与展望
    5.1 本文总结
    5.2 本文展望
参考文献
致谢
在读期间发表的学术论文与取得的研究成果



本文编号：3739906