基于深度学习的化学物蛋白质关系抽取研究与设计
发布时间：2021-10-27 14:53
随着生物医学文献数量的迅速增长,如何从浩如烟海的生物医学文献中快速有效地提取有价值的信息和知识,成为当前亟待解决的问题。化学物蛋白质关系抽取（Chemical Protein Relation Extraction,CPRE）是指从生物医学文献中自动抽取出化学物和蛋白质之间的相互作用关系,如激活、抑制、拮抗和催化作用等,它对生物医学知识图谱的构建、精准医学和新药研发等方面具有重要的意义。本文对生物医学领域化学物蛋白质关系抽取的研究主要包括以下内容:（1）提出了基于最短依存路径和集成学习的化学物蛋白质关系抽取。本文提出了一种基于最短依存路径和注意力机制的双向LSTM模型,并将它应用于化学物蛋白质关系抽取。在特征上综合考虑了实体间最短依存路径上的词性、位置和依存关系类型等信息。在BioCreative Ⅵ CHEMPROT任务上的实验表明,本文的方法取得了较好的性能,同时,集成学习方法还可以进一步提高了化学物蛋白质关系抽取性能。（2）比较了基于预训练语言模型的化学物蛋白质关系抽取。鉴于以BERT为代表的预训练模型在自然语言处理领域内取得的进步,本文将BERT、BioBERT和XLNet等当...
【文章来源】：苏州大学江苏省 211工程院校
【文章页数】：69 页
【学位级别】：硕士
【部分图文】：
图３－３基于注意力机制的双向ＬＳＴＭ模型??由于基于注意力的双向ＬＳＴＭ模型（Ａｔｔ－ＢｉＬＳＴＭ）被广泛地用于关系抽取，本??文也把它作为化学物蛋白质关系抽取任务的基本模型
第３章基于最短依存路径和注意力机制的关系抽取?基于深度学习的化学物蛋白质关系抽取研究与设计??考虑上述因素，本文集成方法的最终性能取基模型数量为１０时的平均法性能值，??即?Ｐ／Ｒ／Ｆ１?值分别为?７１．８／６５．２／６８．１。??７２??＼?ｐ－投票法??Ｓｅｅ?／?Ａ＾ｙ７?—投票法??趄?／?＂／?—－Ｆ－投票法??－二：??—?Ｆ－平均法??６０??１?２?３?４?５?６?７?８?９?１０?１１?１２?１３?１４?１５??模型数量??图３－４不同集成方法和模型数量的抽取性能比较??３．５．５与其他系统的性能比较??表３－８列出了本文实验系统与当前同类型系统的性能比较，由表３－８可以看出：??？在ＬＳＴＭ模型上，本文取得了最好的性能，高于基于句子的ＬＳＴＭ模型［１９１和??Ｂｉ－ＬＳＴＭ模型［１３］，这说明最短依存路径和注意力机制能够有效提升化学物蛋??白质关系抽取性能。??？和其它单分类器相比，本文取得了仅次于Ｂｊ６ｎＷ４ｎ分类器的性能。本文采用实??体间最短依存路径上的词、距离、词性、依存关系类型等特征，而Ｂｊ６ｒｎｅ［４１］在??句子的词、距离、词性特征的基础上加入实体间最短依存路径、单词到实体依??存路径和事件信息等特征。??在集成模型方面，Ｐｅｎｇ［１３］使用随机森林的方法集成ＳＶＭ，?ＬＳＴＭ和ＣＮＮ模型，??Ｂｊ６ｍｅ［４１］集成了?５个Ｈ值最高的ＣＮＮ模型，使用置信度平均值法，取模型的平均预??２６??
第４章基于预训练语言模型的化学物蛋白质关系抽取?基于深度学习的化学物蛋白质关系抽取研究与设计??４．３基于预训练语言模型的化学物蛋白质关系抽取??本节提出了基于预训练语言模型的化学物蛋白质关系抽取方法，将预训练模型与??化学物蛋白质关系抽取任务相结合，其结构如图４－２所示，包括嵌入层、预训练语言??模型层和分类层。??ＡＣＴ?ＤＯＷ?ＡＧＯ?ＡＮＴ?ＳＵＢ?Ｎｏｎｅ??Ｃｌａｓｓｉｆｙ?ｔ?１?１??１?１?１??Ｌａｙｅｒ??少???？?ｓｏｆｔｍａｘ??＾??ＰＬＭ〇?ＰＬＭ，?ＰＬＭ２?ＰＬＭ３?ＰＬＭ４?．．．?ＰＬＭ６?ＰＬＭ７??Ｐｒｃ－ｔｒａｉｎｅｄ?Ｃ３?Ｃ）?ＣＤ?ＣＤ?ＣＤ??Ｅ〇?Ｅｉ?Ｅ２?Ｅ３?Ｅ４?…?Ｅ６?Ｅ７???ＨＵ」」Ｊ——ｉ—??Ｐｏｓｉｔｉｏｎ?＿??Ｅｍｂｅｄｄｉｎｇ?Ｐ〇?Ｐｌ?Ｐ２?Ｐ３?Ｐｅ?？７??Ｓｅｇｍｅｎｔ??Ｅｍｂｅｄｄｉｎｇ?Ｓａ?Ｓａ?Ｓａ?Ｓａ?Ｓａ?…?Ｓａ?Ｓａ??Ｔｏｋｅｎ??Ｅｍｂｅｄｄｉｎｇ?Ｔ［ｃｌｓ］?丁２?Ｔ！?Ｔ３?Ｔ２?…?丁６?Ｔ［ＳＥＰ］??Ｉｎｐｕｔ??Ｌａｙｅｒ?ｗ?丨?ｗ２?引?ｗ３?ｅ２?…?ｗ６??图４－２基于预训练语言模型的化学物蛋白质关系抽取方法结构??３４??
本文编号：3461828
【文章来源】：苏州大学江苏省 211工程院校
【文章页数】：69 页
【学位级别】：硕士
【部分图文】：
图３－３基于注意力机制的双向ＬＳＴＭ模型??由于基于注意力的双向ＬＳＴＭ模型（Ａｔｔ－ＢｉＬＳＴＭ）被广泛地用于关系抽取，本??文也把它作为化学物蛋白质关系抽取任务的基本模型
第３章基于最短依存路径和注意力机制的关系抽取?基于深度学习的化学物蛋白质关系抽取研究与设计??考虑上述因素，本文集成方法的最终性能取基模型数量为１０时的平均法性能值，??即?Ｐ／Ｒ／Ｆ１?值分别为?７１．８／６５．２／６８．１。??７２??＼?ｐ－投票法??Ｓｅｅ?／?Ａ＾ｙ７?—投票法??趄?／?＂／?—－Ｆ－投票法??－二：??—?Ｆ－平均法??６０??１?２?３?４?５?６?７?８?９?１０?１１?１２?１３?１４?１５??模型数量??图３－４不同集成方法和模型数量的抽取性能比较??３．５．５与其他系统的性能比较??表３－８列出了本文实验系统与当前同类型系统的性能比较，由表３－８可以看出：??？在ＬＳＴＭ模型上，本文取得了最好的性能，高于基于句子的ＬＳＴＭ模型［１９１和??Ｂｉ－ＬＳＴＭ模型［１３］，这说明最短依存路径和注意力机制能够有效提升化学物蛋??白质关系抽取性能。??？和其它单分类器相比，本文取得了仅次于Ｂｊ６ｎＷ４ｎ分类器的性能。本文采用实??体间最短依存路径上的词、距离、词性、依存关系类型等特征，而Ｂｊ６ｒｎｅ［４１］在??句子的词、距离、词性特征的基础上加入实体间最短依存路径、单词到实体依??存路径和事件信息等特征。??在集成模型方面，Ｐｅｎｇ［１３］使用随机森林的方法集成ＳＶＭ，?ＬＳＴＭ和ＣＮＮ模型，??Ｂｊ６ｍｅ［４１］集成了?５个Ｈ值最高的ＣＮＮ模型，使用置信度平均值法，取模型的平均预??２６??
第４章基于预训练语言模型的化学物蛋白质关系抽取?基于深度学习的化学物蛋白质关系抽取研究与设计??４．３基于预训练语言模型的化学物蛋白质关系抽取??本节提出了基于预训练语言模型的化学物蛋白质关系抽取方法，将预训练模型与??化学物蛋白质关系抽取任务相结合，其结构如图４－２所示，包括嵌入层、预训练语言??模型层和分类层。??ＡＣＴ?ＤＯＷ?ＡＧＯ?ＡＮＴ?ＳＵＢ?Ｎｏｎｅ??Ｃｌａｓｓｉｆｙ?ｔ?１?１??１?１?１??Ｌａｙｅｒ??少???？?ｓｏｆｔｍａｘ??＾??ＰＬＭ〇?ＰＬＭ，?ＰＬＭ２?ＰＬＭ３?ＰＬＭ４?．．．?ＰＬＭ６?ＰＬＭ７??Ｐｒｃ－ｔｒａｉｎｅｄ?Ｃ３?Ｃ）?ＣＤ?ＣＤ?ＣＤ??Ｅ〇?Ｅｉ?Ｅ２?Ｅ３?Ｅ４?…?Ｅ６?Ｅ７???ＨＵ」」Ｊ——ｉ—??Ｐｏｓｉｔｉｏｎ?＿??Ｅｍｂｅｄｄｉｎｇ?Ｐ〇?Ｐｌ?Ｐ２?Ｐ３?Ｐｅ?？７??Ｓｅｇｍｅｎｔ??Ｅｍｂｅｄｄｉｎｇ?Ｓａ?Ｓａ?Ｓａ?Ｓａ?Ｓａ?…?Ｓａ?Ｓａ??Ｔｏｋｅｎ??Ｅｍｂｅｄｄｉｎｇ?Ｔ［ｃｌｓ］?丁２?Ｔ！?Ｔ３?Ｔ２?…?丁６?Ｔ［ＳＥＰ］??Ｉｎｐｕｔ??Ｌａｙｅｒ?ｗ?丨?ｗ２?引?ｗ３?ｅ２?…?ｗ６??图４－２基于预训练语言模型的化学物蛋白质关系抽取方法结构??３４??
本文编号：3461828
本文链接：https://www.wllwen.com/projectlw/swxlw/3461828.html
教材专著
