基于深度语境和注意力机制的自动事件检测模型

发布时间：2021-05-20 02:35

　　事件检测任务是事件抽取任务中重要的一环,其目的是提取出一个句子中可以触发事件的触发词,并判断所触发的事件类别。目前,事件检测的难点在于一词多义和多事件句子,一词多义是指同一个词在不同上下文中可能会触发不同类型的事件发生,而多事件句子则是同一个句子中可能存在着多个事件。为了能够更好地同时解决这两个问题,本文提出一个全新的基于深度语境化词表征的注意力层次神经网络模型,该模型可以学习深层的语义信息、组块信息及抽象特征,其中,注意力机制能够对相关有用的信息赋予更高的权值,并弱化干扰信息的影响,而深度语境化词表征能够为模型提供更多语法语义特征信息,有效解决词语二义性问题。从而提升模型的识别性能。在ACE2005英文语料库上进行实验,实验结果表明,该模型的F1值达到74.4%,高于现有最优模型的性能。本文的研究工作主要包括以下几个部分:（1）研究基于传统词向量的层次神经网络模型,将双向长短期记忆网络和动态卷积神经网络引入模型,探索不同词向量维度、输入特征、模型结构对事件检测性能的影响,并将最优结果作为本文的研究基础。（2）在模型中引入注意力机制,探索不同注意力机制对模型的影响,研究表明选择适当的注... 

【文章来源】：厦门大学福建省 211工程院校 985工程院校 教育部直属院校

【文章页数】：76 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第一章 绪论
    1.1 研究背景及意义
    1.2 研究现状
        1.2.1 模式匹配的方法
        1.2.2 基于特征的方法
        1.2.3 基于神经网络的方法
    1.3 本文主要工作及创新点
    1.4 文章结构安排
第二章 实验设置
    2.1 实验语料
    2.2 任务定义
    2.3 评价指标
    2.4 实验设置
        2.4.1 超参数
        2.4.2 优化算法
        2.4.3 损失函数
第三章 层次神经网络事件检测模型
    3.1 研究动机
    3.2 神经网络
        3.2.1 循环神经网络
        3.2.2 卷积神经网络
        3.2.3 词向量
    3.3 层次神经网络模型
        3.3.1 输入层
        3.3.2 双向LSTM层
        3.3.3 层归一化
        3.3.4 动态CNN层
        3.3.5 输出层
    3.4 实验
        3.4.1 模型设计实验
        3.4.2 结果分析
    3.5 本章小结
第四章 基于注意力机制的层次神经网络事件检测模型
    4.1 研究动机
    4.2 注意力机制
        4.2.1 注意力机制算法
        4.2.2 现有基于注意力机制的神经网络模型
    4.3 基于注意力机制的层次神经网络模型
        4.3.1 Attention层
        4.3.2 层次神经网络中Attention层的引入
    4.4 实验
        4.4.1 模型设计实验
        4.4.2 结果分析
    4.5 本章小结
第五章 基于深度语境化词表征的注意力层次神经网络事件检测模型
    5.1 研究动机
    5.2 深度语境化词表征
        5.2.1 双向语言模型
        5.2.2 线性组合
    5.3 基于深度语境化词表征的注意力层次神经网络模型
    5.4 实验
        5.4.1 模型设计实验
        5.4.2 结果分析
        5.4.3 多义词实验
        5.4.4 多事件检测实验
    5.5 本章小结
第六章 总结与展望
    6.1 本文工作总结
    6.2 创新点总结
    6.3 未来工作展望
参考文献
致谢



本文编号：3196914