生物医学事件抽取技术研究
发布时间：2020-12-03 02:29
生物医学事件抽取技术,能够帮助研究人员快速地从大量生物医学文献中准确定位事件,并以结构化的形式表示,在药物研制、临床辅助诊疗、构建生物医学本体库等方面具有重要的研究意义和应用价值。生物医学事件描述了生物医学实体状态变化的过程,主要由触发词和事件元素组成。本文围绕生物医学事件抽取关键技术展开研究,重点探索了基于深度学习方法的触发词识别和事件元素识别技术。本文的主要研究内容如下:(1)融入自注意力机制的生物医学事件触发词识别。触发词代表了事件发生的动作(比如:抑制、发展和形成等)及事件的类型。本文针对触发词识别任务中由于文本中存在大量复杂事件,从而造成了对文本内部包含的特征挖掘不充分的问题,提出了一种融入自注意力机制的事件触发词识别方法。该方法重点关注于文本自身,在引入单词分布式语义特征的基础上,采用双向门控循环单元网络捕获相关上下文特征,并在双向门控循环单元网络中融入了自注意力机制从多层面充分的挖掘文本自身包含的特征,来更好地理解和表示句子所表达的语义信息。最后融合词级特征通过分类层对触发词进行分类。(2)基于卷积神经网络、双向门控循环单元网络和注意力机制的事件元素识别。事件元素是事件发...
【文章来源】：西北师范大学甘肃省
【文章页数】：50 页
【学位级别】：硕士
【部分图文】：
生物医学事件抽取实例及相关标注
第2章相关理论及技术介绍11结构如图2-2所示。从模型的结构以及名称都可以看出，CBOW模型是根据单词的上下文相关内容即当前词的前n个单词以及后n个单词或者前后连续的单词的词向量，来预测这个单词对应的词向量，CBOW模型较适用与小型数据库。Skip-Gram模型则和CBOW模型相反，Skip-Gram模型是根据当前单词的词向量，来预测这个单词的上下文即前后出现的n个单词分别对应的词向量，Skip-Gram模型比较适用于大型数据库。（a）CBOW模型（b）Skip-gram模型图2-2CBOW和Skip-gram模型2.2.2FastTextFastText是由Mikolov[40]等人于2016年提出的算法，将单词字符级别的N-gram信息并作为单词额外的特征来训练模型，并且采用层级Softmax进行输出，降低了模型训练时间。FastText模型在结构上与Word2Vec里的CBOW模型的结构很相似，但在输出上存在差异，即CBOW模型是根据上下文的单词来预测中间词，而FastText模型则是根据一个上下文序列来预测标签，FastText模型结构如图2-3所示。针对词向量表示，FastText考虑了单词的组成，其中1x，2x，…，N1x，Nx表示一个文本中的N-gram向量，每个特征是词向量的平均值。例如，给定一个单词“system”，当N为3时，这个单词可以表示为“sys，yst，ste，temet”，当N为5时，它将表示为“syste，ystem”。与Word2Vec工具相比，FastText训练速度更快，且Word2Vec忽略了单词内部的形态特征，而FastText添加了额外的N-gram信息，
西北师范大学硕士学位论文12对数据集中低频词的词向量生成效果更好，且由于N-gram可以共享，对于训练词库以外的单词也可以构建相关词向量。本文使用FastText对词向量进行预训练。图2-3FastText模型2.3深度学习算法深度学习[38]（DeepLearning）技术近几年来在各个领域都得到了广泛普及，在自然语言处理[3]、图像处理[41]、语音识别[42]和机器翻译[43]等任务上都取得了不错的效果。深度学习能够在大规模的训练数据上，构建包含了大量隐层的机器学习模型进行快速地学习有价值的特征，能够非常有效地提升分类或预测的能力。深度学习能够自适应的自动且快速地学习特征，这使得深度学习在各大领域大规模数据集上的表现尤为突出，而随着技术的不断发展，运行速度更快的设备以及更多核的CPU和GPU对深度学习的普及也起到了非常大的推动作用。因此，基于深度学习的方法得到了越来越多的关注与应用。2.3.1卷积神经网络作为目前深度学习中具有代表性的算法之一，卷积神经网络[44]（ConvolutionalNeuralNetwork，CNN）相比于多层前馈神经网络模型，CNN模型的参数较少，且具有并行性，特征学习和分类任务能够同时的进行，并且能够进行全局优化，CNN模型还具有很好的泛化能力，因此CNN已成为计算神经科学领域的研究热点之一。CNN模型通过仿造生物的视觉神经机制（VisualPerception）的结构进行构建，能够进行监督学习和非监督学习，由于CNN具有隐含层内的卷积核参数共享，层间连接稀疏的特点，CNN对格点化特征（像素或音频等）进行学习时的计算量较小，效果较为稳定，且不需要对数据有额外的特征工程。CNN模型通过将多个基
【参考文献】：
硕士论文
[1]基于语义空间和神经网络的生物医学事件抽取[D]. 李虹磊.大连理工大学 2017
[2]基于深度学习的生物医学事件抽取研究[D]. 张建海.大连理工大学 2016
本文编号：2895842
【文章来源】：西北师范大学甘肃省
【文章页数】：50 页
【学位级别】：硕士
【部分图文】：
生物医学事件抽取实例及相关标注
第2章相关理论及技术介绍11结构如图2-2所示。从模型的结构以及名称都可以看出，CBOW模型是根据单词的上下文相关内容即当前词的前n个单词以及后n个单词或者前后连续的单词的词向量，来预测这个单词对应的词向量，CBOW模型较适用与小型数据库。Skip-Gram模型则和CBOW模型相反，Skip-Gram模型是根据当前单词的词向量，来预测这个单词的上下文即前后出现的n个单词分别对应的词向量，Skip-Gram模型比较适用于大型数据库。（a）CBOW模型（b）Skip-gram模型图2-2CBOW和Skip-gram模型2.2.2FastTextFastText是由Mikolov[40]等人于2016年提出的算法，将单词字符级别的N-gram信息并作为单词额外的特征来训练模型，并且采用层级Softmax进行输出，降低了模型训练时间。FastText模型在结构上与Word2Vec里的CBOW模型的结构很相似，但在输出上存在差异，即CBOW模型是根据上下文的单词来预测中间词，而FastText模型则是根据一个上下文序列来预测标签，FastText模型结构如图2-3所示。针对词向量表示，FastText考虑了单词的组成，其中1x，2x，…，N1x，Nx表示一个文本中的N-gram向量，每个特征是词向量的平均值。例如，给定一个单词“system”，当N为3时，这个单词可以表示为“sys，yst，ste，temet”，当N为5时，它将表示为“syste，ystem”。与Word2Vec工具相比，FastText训练速度更快，且Word2Vec忽略了单词内部的形态特征，而FastText添加了额外的N-gram信息，
西北师范大学硕士学位论文12对数据集中低频词的词向量生成效果更好，且由于N-gram可以共享，对于训练词库以外的单词也可以构建相关词向量。本文使用FastText对词向量进行预训练。图2-3FastText模型2.3深度学习算法深度学习[38]（DeepLearning）技术近几年来在各个领域都得到了广泛普及，在自然语言处理[3]、图像处理[41]、语音识别[42]和机器翻译[43]等任务上都取得了不错的效果。深度学习能够在大规模的训练数据上，构建包含了大量隐层的机器学习模型进行快速地学习有价值的特征，能够非常有效地提升分类或预测的能力。深度学习能够自适应的自动且快速地学习特征，这使得深度学习在各大领域大规模数据集上的表现尤为突出，而随着技术的不断发展，运行速度更快的设备以及更多核的CPU和GPU对深度学习的普及也起到了非常大的推动作用。因此，基于深度学习的方法得到了越来越多的关注与应用。2.3.1卷积神经网络作为目前深度学习中具有代表性的算法之一，卷积神经网络[44]（ConvolutionalNeuralNetwork，CNN）相比于多层前馈神经网络模型，CNN模型的参数较少，且具有并行性，特征学习和分类任务能够同时的进行，并且能够进行全局优化，CNN模型还具有很好的泛化能力，因此CNN已成为计算神经科学领域的研究热点之一。CNN模型通过仿造生物的视觉神经机制（VisualPerception）的结构进行构建，能够进行监督学习和非监督学习，由于CNN具有隐含层内的卷积核参数共享，层间连接稀疏的特点，CNN对格点化特征（像素或音频等）进行学习时的计算量较小，效果较为稳定，且不需要对数据有额外的特征工程。CNN模型通过将多个基
【参考文献】：
硕士论文
[1]基于语义空间和神经网络的生物医学事件抽取[D]. 李虹磊.大连理工大学 2017
[2]基于深度学习的生物医学事件抽取研究[D]. 张建海.大连理工大学 2016
本文编号：2895842
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/2895842.html
