基于半监督多特征模型的中文医疗文本命名实体识别方法研究
发布时间：2022-02-17 23:33
中文医疗文本记录中涵盖的命名实体包含着大量与患者健康密切相关的医疗信息,快速准确的识别出中文医疗文本数据中的医疗命名实体,是推动医疗智能化发展的关键问题。但中文医疗文本记录中包含患者的个人信息,因此公开的中文医疗文本数据很少,并且带有标注信息中文医疗文本数据较少,严重阻碍了中文医疗命名实体识别的发展。随着命名实体识别技术的发展,使用深度学习的方式进行命名实体识别任务已成为研究人员关注的焦点。BiLSTM（Bi-directional Long Short-Term Memory,BiLSTM）模型利用提取到的文本数据中的上下文特征,达到了识别命名实体的目的。但BiLSTM提取到的文本特征单一,而且模型的训练速度慢,本文针对“特征提取单一,训练速度慢”的问题,提出使用 BiLSTM 和 IDCNN（Iterated Dilated Convolution Neural Networks,IDCNN）混合模型,并行提取文本的上下文特征和实体的周边特征来实现中文医疗文本数据中的命名实体识别,缩短模型的训练时间,提高模型的识别效果。在识别过程中,本文还针对“出现无效标签”的问题,在混合模型的基...
【文章来源】：北京化工大学北京市211工程院校教育部直属院校
【文章页数】：87 页
【学位级别】：硕士
【部分图文】：
图２－１?ＬＳＴＭ单元结构图??Ｆｉｇｕｒｅ?２－１?ＬＳＴＭ?ｃｅｌｌ?ｓｔｒｕｃｔｕｒｅ?ｄｉａｇｒａｍ??
?其中ｘ，是第／个输入ＬＳＴＭ模型的向量，＆为隐含状态向量，包含当前位置及之??前位置的所有信息。认％［心％是不同门对输入向量汾的权值，奶，％，％，灰０是不??同门对隐含状体向量＆的权值，心知为偏置向量［３３］。??研宄人员发现，ＬＳＴＭ在使用的过程中，模型只使用到了文本数据中的上文??信息，未对文本中存在的下文信息进行使用。因此，为了充分使用中文文本中的??上下文信息，研宄人员提出ＢｉＬＳＴＭ模型，使用不同方向的ＬＳＴＭ链提取中文??文本中的上下文信息。ＢｉＬＳＴＭ模型结构图如下图２－２所示。??Ｓｓ?ｈｔ?Ｒｉ?Ｆｎ，???—＼?ｒ－?—１＼??—ｔ＼??—??，．．ｌ＾ＳＴＭ＾?４－２－?ＷＴＭ＊．．?？?－ｉ－｜?４－ｉ－?ｋ?？???＾?Ｓｒ？?／?Ｚ?Ｓ．＊＊?（?＾??．．．Ｊ．?ＬＳＴＭ＾，?－２－Ｕ?－＾－ＵｌＳＴＭ＾?－＾４．?ＬＳＴＭ＾?—＊?？？??＼?＼?＼?＼??…?馬?馬?§Ａ?ｉｓ?…??图２－２?ＢｉＬＳＴＭ模型结构图??Ｆｉｇｕｒｅ?２－２?ＢｉＬＳＴＭ?ｍｏｄｅｌ?ｓｔｒｕｃｔｕｒｅ?ｄｉａｇｒａｍ??图中显示ＢｉＬＳＴＭ模型的结构和数据流向。ＢｉＬＳＴＭ模型的输入为向量／＇ｘｊ，??分别在两条ＬＳＴＭ链中进行信息提龋将每个字向量得到的不同方向的输出＆和??进行合并，得到包含上下文信息的输出。??２．２卷积操作??卷积神经网络（Ｃｏｎｖｏｌｕｔｉｏｎａｌ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋｓ，ＣＮＮ）是一种前馈神经网??络，具有强大的特征提取功能，在图像处理中被广泛使用［３纪研宄人员将这种??强大的特征提取功能逐渐使用到命名实体识别任务中。卷积神经网络中的
特征向量。研究??人员对卷积操作进行创新，提出多种不同类型的卷积操作，本文对后期使用到??的标准卷积操作和扩张卷积操作进行详细讲述。??２．２．１标准卷积??标准卷积是ＣＮＮ网络中原有的卷积操作。卷积操作的核心就是利用滤波器??对输入矩阵进行特征提龋在中文命名实体识别中，需要使用工具将输入的中文??文本数据向量化，之后使用卷积操作来对输入矩阵进行特征提龋根据卷积操作??中得到的输出矩阵的维度，可将卷积操作分为窄卷积与宽卷积［３５］。这两种处理方??式对输入矩阵边缘的特征做出处理，图２－３和图２－４展示了在相同大小滤波器和??相同步长下的窄卷积和宽卷积的卷积结果。??＆?ｓ，??图２－３?—维窄卷积??Ｆｉｇｕｒｅ?２－３?Ｏｎｅ－ｄｉｍｅｎｓｉｏｎａｌ?ｎａｒｒｏｗ?ｃｏｎｖｏｌｕｔｉｏｎ??上图展示了长度为５，宽度为１的滤波器，在步长为１条件下的一维窄卷积??操作过程，在图２．３中，５１，表示输入矩阵，Ｃ，表示窄卷积的输出矩阵，从图２－４??中可以看出，输入矩阵经过窄卷积操作后，矩阵大小得到压缩，但使得输入矩阵??边界的特征被忽略，造成特征丢失。??Ｌａ?Ｌ？?Ｓ（?Ｓｔ?Ｒｉ?Ｒ＊??图２＞４?—维宽卷积??Ｆｉｇｕｒｅ?２．４?Ｏｎｅ－ｄｉｍｅｎｓｉｏｎａｌ?ｗｉｄｅ?ｃｏｎｖｏｌｕｔｉｏｎ??上图展示了长度为５，宽度为１的滤波器，在步长为１的条件下的一维宽卷??积操作过程。图２－４中，Ｓ１，表示原输入矩阵，和兄表示在使用宽卷积时在原输??１１??
【参考文献】：
期刊论文
[1]整合BiLSTM-CRF网络和词典资源的中文电子病历实体识别[J]. 李纲,潘荣清,毛进,操玉杰. 现代情报. 2020(04)
[2]中文医疗实体的弱监督识别方法[J]. 赵青,王丹,徐书世,张晓桐,王晓曦. 哈尔滨工程大学学报. 2020(03)
[3]基于BERT-IDCNN-CRF的中文命名实体识别方法[J]. 李妮,关焕梅,杨飘,董文永. 山东大学学报(理学版). 2020(01)
[4]基于BERT的中文命名实体识别方法[J]. 王子牛,姜猛,高建瓴,陈娅先. 计算机科学. 2019(S2)
[5]采用Transformer-CRF的中文电子病历命名实体识别[J]. 李博,康晓东,张华丽,王亚鸽,陈亚媛,白放. 计算机工程与应用. 2020(05)
[6]命名实体识别在中药名词和方剂名词识别中的应用[J]. 龚德山,梁文昱,张冰珠,马星光. 中国药事. 2019(06)
[7]电子病历命名实体识别和实体关系抽取研究综述[J]. 杨锦锋,于秋滨,关毅,蒋志鹏. 自动化学报. 2014(08)
[8]简约语法规则和最大熵模型相结合的混合实体识别[J]. 陆铭,康雨洁,俞能海. 小型微型计算机系统. 2012(03)
硕士论文
[1]面向语义特征的电影评论情感分类研究[D]. 任帅.东北林业大学 2019
[2]面向医疗领域的命名实体识别[D]. 栗冬冬.哈尔滨理工大学 2018
[3]基于Word2Vec的中文命名实体链接研究[D]. 黄东川.国防科学技术大学 2016
本文编号：3630306
【文章来源】：北京化工大学北京市211工程院校教育部直属院校
【文章页数】：87 页
【学位级别】：硕士
【部分图文】：
图２－１?ＬＳＴＭ单元结构图??Ｆｉｇｕｒｅ?２－１?ＬＳＴＭ?ｃｅｌｌ?ｓｔｒｕｃｔｕｒｅ?ｄｉａｇｒａｍ??
?其中ｘ，是第／个输入ＬＳＴＭ模型的向量，＆为隐含状态向量，包含当前位置及之??前位置的所有信息。认％［心％是不同门对输入向量汾的权值，奶，％，％，灰０是不??同门对隐含状体向量＆的权值，心知为偏置向量［３３］。??研宄人员发现，ＬＳＴＭ在使用的过程中，模型只使用到了文本数据中的上文??信息，未对文本中存在的下文信息进行使用。因此，为了充分使用中文文本中的??上下文信息，研宄人员提出ＢｉＬＳＴＭ模型，使用不同方向的ＬＳＴＭ链提取中文??文本中的上下文信息。ＢｉＬＳＴＭ模型结构图如下图２－２所示。??Ｓｓ?ｈｔ?Ｒｉ?Ｆｎ，???—＼?ｒ－?—１＼??—ｔ＼??—??，．．ｌ＾ＳＴＭ＾?４－２－?ＷＴＭ＊．．?？?－ｉ－｜?４－ｉ－?ｋ?？???＾?Ｓｒ？?／?Ｚ?Ｓ．＊＊?（?＾??．．．Ｊ．?ＬＳＴＭ＾，?－２－Ｕ?－＾－ＵｌＳＴＭ＾?－＾４．?ＬＳＴＭ＾?—＊?？？??＼?＼?＼?＼??…?馬?馬?§Ａ?ｉｓ?…??图２－２?ＢｉＬＳＴＭ模型结构图??Ｆｉｇｕｒｅ?２－２?ＢｉＬＳＴＭ?ｍｏｄｅｌ?ｓｔｒｕｃｔｕｒｅ?ｄｉａｇｒａｍ??图中显示ＢｉＬＳＴＭ模型的结构和数据流向。ＢｉＬＳＴＭ模型的输入为向量／＇ｘｊ，??分别在两条ＬＳＴＭ链中进行信息提龋将每个字向量得到的不同方向的输出＆和??进行合并，得到包含上下文信息的输出。??２．２卷积操作??卷积神经网络（Ｃｏｎｖｏｌｕｔｉｏｎａｌ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋｓ，ＣＮＮ）是一种前馈神经网??络，具有强大的特征提取功能，在图像处理中被广泛使用［３纪研宄人员将这种??强大的特征提取功能逐渐使用到命名实体识别任务中。卷积神经网络中的
特征向量。研究??人员对卷积操作进行创新，提出多种不同类型的卷积操作，本文对后期使用到??的标准卷积操作和扩张卷积操作进行详细讲述。??２．２．１标准卷积??标准卷积是ＣＮＮ网络中原有的卷积操作。卷积操作的核心就是利用滤波器??对输入矩阵进行特征提龋在中文命名实体识别中，需要使用工具将输入的中文??文本数据向量化，之后使用卷积操作来对输入矩阵进行特征提龋根据卷积操作??中得到的输出矩阵的维度，可将卷积操作分为窄卷积与宽卷积［３５］。这两种处理方??式对输入矩阵边缘的特征做出处理，图２－３和图２－４展示了在相同大小滤波器和??相同步长下的窄卷积和宽卷积的卷积结果。??＆?ｓ，??图２－３?—维窄卷积??Ｆｉｇｕｒｅ?２－３?Ｏｎｅ－ｄｉｍｅｎｓｉｏｎａｌ?ｎａｒｒｏｗ?ｃｏｎｖｏｌｕｔｉｏｎ??上图展示了长度为５，宽度为１的滤波器，在步长为１条件下的一维窄卷积??操作过程，在图２．３中，５１，表示输入矩阵，Ｃ，表示窄卷积的输出矩阵，从图２－４??中可以看出，输入矩阵经过窄卷积操作后，矩阵大小得到压缩，但使得输入矩阵??边界的特征被忽略，造成特征丢失。??Ｌａ?Ｌ？?Ｓ（?Ｓｔ?Ｒｉ?Ｒ＊??图２＞４?—维宽卷积??Ｆｉｇｕｒｅ?２．４?Ｏｎｅ－ｄｉｍｅｎｓｉｏｎａｌ?ｗｉｄｅ?ｃｏｎｖｏｌｕｔｉｏｎ??上图展示了长度为５，宽度为１的滤波器，在步长为１的条件下的一维宽卷??积操作过程。图２－４中，Ｓ１，表示原输入矩阵，和兄表示在使用宽卷积时在原输??１１??
【参考文献】：
期刊论文
[1]整合BiLSTM-CRF网络和词典资源的中文电子病历实体识别[J]. 李纲,潘荣清,毛进,操玉杰. 现代情报. 2020(04)
[2]中文医疗实体的弱监督识别方法[J]. 赵青,王丹,徐书世,张晓桐,王晓曦. 哈尔滨工程大学学报. 2020(03)
[3]基于BERT-IDCNN-CRF的中文命名实体识别方法[J]. 李妮,关焕梅,杨飘,董文永. 山东大学学报(理学版). 2020(01)
[4]基于BERT的中文命名实体识别方法[J]. 王子牛,姜猛,高建瓴,陈娅先. 计算机科学. 2019(S2)
[5]采用Transformer-CRF的中文电子病历命名实体识别[J]. 李博,康晓东,张华丽,王亚鸽,陈亚媛,白放. 计算机工程与应用. 2020(05)
[6]命名实体识别在中药名词和方剂名词识别中的应用[J]. 龚德山,梁文昱,张冰珠,马星光. 中国药事. 2019(06)
[7]电子病历命名实体识别和实体关系抽取研究综述[J]. 杨锦锋,于秋滨,关毅,蒋志鹏. 自动化学报. 2014(08)
[8]简约语法规则和最大熵模型相结合的混合实体识别[J]. 陆铭,康雨洁,俞能海. 小型微型计算机系统. 2012(03)
硕士论文
[1]面向语义特征的电影评论情感分类研究[D]. 任帅.东北林业大学 2019
[2]面向医疗领域的命名实体识别[D]. 栗冬冬.哈尔滨理工大学 2018
[3]基于Word2Vec的中文命名实体链接研究[D]. 黄东川.国防科学技术大学 2016
本文编号：3630306
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3630306.html
最近更新
教材专著
