基于深度学习方法进行因果关系抽取的研究

发布时间：2021-08-11 04:36

　　在自然语言处理（NLP）中,因果关系抽取是信息提取和知识发现的重要任务。因果关系在问答、决策制定和知识发现等领域都有着广泛的应用,人们可以从多个数据源,如网页、在线期刊、电子病历中抽取因果关系,建立相对应的因果链,为相关的研究提供参考。由于自然语言文本的模糊性和多样性,因果关系抽取仍然是一个难以解决的NLP问题。传统因果关系抽取方法是使用自然语言处理工具进行特征提取后依赖机器学习相关的分类器进行因果关系抽取。但是,这些方法严重依赖词性标注、句法解析等自然语言处理方法提供的分类特征,同时也严重依赖知识库。而自然语言处理标注工具往往存在大量错误;知识库的完备性也不能达到完美。这将导致某些错误会在因果关系抽取系统中不断传递和放大,最终影响因果关系抽取的效果。近些年来,深度学习在自然语言处理中得到了越来越广泛的应用,由于卷积神经网络和循环神经网络能够很好地从句子中提取到全局和局部的特征,所以在关系抽取,机器翻译,句子分类等基础任务中取得了很好的效果。因此本文主要利用卷积神经网络（CNN）和循环神经网络的改进版GRU（Gate Recurrent Unit）来进行因果关系抽取。本文的主要内容如下... 

【文章来源】：吉林大学吉林省 211工程院校 985工程院校 教育部直属院校

【文章页数】：66 页

【学位级别】：硕士

【部分图文】：

Word2vec两种模型结构

吉林大学硕士学位论文8图2.2基于分层softmax模型结构对于目标词汇，记：1.表示由根节点通向目标词汇的一条完整路径。2.表示目标路径上所有节点的个数。3.1，2，…，表示路径中上对应的每个节点。4.2，…,表示词的哈夫曼编码，它由1位哈夫曼编码构成，即为路径上第个节点的哈夫曼编码。5.1，…,1表示路径上非叶子节点对应的向量。基于以上标记，记是由输入层求和后的隐藏层向量。由sigmoid归回函数可知，哈夫曼树的正例样本概率为：()=11+…………………………(2.2)

第2章相关技术方法11也可以指一个专有名词：一个电脑品牌。而“一词多义”的问题在word2vec模型中不能很好地解决，因为Word2vec模型所生成的词向量是固定的，不能根据语境来进行动态变化。而ELMO模型很好的解决了这个问题。下面简单介绍以下该模型框架结构。图2.3基于ELMO的词嵌入模型表示由图2.3可知，ELMO模型是使用双向的LSTM架构，由一个前向模型和一个后项模型组成。对以一个给定的句子(1,2,…)来说，我们构建的语言模型就是通过待预测词的上下文去预测该词的词向量，所以记：正向LSTM结构(基于前k-1个词预测第k个词)：(1,2,…)=∏(|1,…,1)=1……………(2.18)反向LSTM结构（基于后n-k个词预测第k个词）：(1,2,…)=∏(|+1,…,)=1………………(2.19)所以基于极大似然估计的目标函数:Γ=∑|1,…,1;,,+=1|1,…,1;,,…………………….(2.20)其中两个方向的LSTM的参数并不共享，是输入的初始化词向量，


本文编号：3335467