面向文本的空间信息抽取方法研究

发布时间：2021-06-17 17:25

　　文本中蕴含着大量空间信息,识别文本中的空间信息,对诸多自然语言处理任务有帮助,例如命名实体识别、自动问答、空间推理、自然语言理解等。ISO-Space是关于文本中空间信息的标注规范,包括空间元素和空间关系两大类,其中空间元素是描述空间信息的基本单元,空间关系捕捉了空间元素的内在联系。本文依据ISO-Space空间信息标注规范,将深度学习技术应用到空间信息抽取中,针对文本中的空间元素识别和空间关系抽取展开了研究,主要工作和贡献如下:1.针对空间元素识别,本文将其建模为序列标注问题,提出基于BiLSTM-CNN的混合模型方法。方法在词向量生成阶段引入领域相关词向量和字符特征,显式地加入了空间相关词汇的表达特点;在特征表示阶段,融合BiLSTM的序列建模能力以及CNN的局部特征抽取能力,丰富句子的特征表示;最后采用条件随机场进行标签推理。在SpaceEval的空间元素识别评测任务中,该方法取得不错的效果。2.由于空间标注数据相对缺乏,本文利用BERT预训练语言模型,提出了基于BERT的空间元素识别方法。BERT预训练语言模型通过大量的无监督语料训练得到,包含丰富的语义信息,同时,本文将语言模... 

【文章来源】：南京大学江苏省 211工程院校 985工程院校 教育部直属院校

【文章页数】：69 页

【学位级别】：硕士

【部分图文】：

一l:B让STM~CNN混合模型示意图

条件随机场上述推理方法没有考虑上一个单词的标签情况，条件随机场则??将相邻单词的标签信息纳入计算过程。假设我们的标签个数是９，给定一个单??词序列，，．．．，冰＾经过特征表示层得到每个单词的向量表示、，．．．，▽？，以及??标签序列ｈ?．．．，？，？，条件随机场定义了一个全局分数Ｃ?ｅ?Ｒ：??ｍ?ｍ－ｌ??ｃ｛ｈ，．．．，ｔｍ）?＝?ｂ［ｔｉ）?＋?２ｖ人？［々■］?＋?Ｉ?ｒ［４，４＋１］?＋ｅ［ｔｍ］?（３－１）??ｋ＝ｌ?ｋ＝＼??＝ｂｅｇｉｎ?＋ｓｃｏｒｅｓ?＋?ｔｒａｎｓｉｔｉｏｎｓ?＋ｅｎｄ?（３－２）??这里ｒｅ?ｒ９ｘ９是标签转移矩阵，即如果上一个标签是；ｃ，下一个标签是ｙ??的概率，ｈｅ?ｅＲ９用于补充起始单词和结尾单词取到对应标签时的代价。转移??矩阵ｒ就是条件随机场为什么能捕捉到相邻单词标签的关键，图（３－６Ｘ３－７）分??别说明了使用条件随机场和直接选择概率最大值的推理过程。图（３－６）的推理??过程中，我们可以看到，条件随机场选择了一条ＰＥＲ－０－Ｌ０Ｃ的标签序列，该??标签序列的最终得分是３１，而在图（３－７）的推理过程中，每次都选择的是概率??

?Ｉｓ?Ｙｏｒｋ??图３－５：简单标签推理示意图??条件随机场上述推理方法没有考虑上一个单词的标签情况，条件随机场则??将相邻单词的标签信息纳入计算过程。假设我们的标签个数是９，给定一个单??词序列，，．．．，冰＾经过特征表示层得到每个单词的向量表示、，．．．，▽？，以及??标签序列ｈ?．．．，？，？，条件随机场定义了一个全局分数Ｃ?ｅ?Ｒ：??ｍ?ｍ－ｌ??ｃ｛ｈ，．．．，ｔｍ）?＝?ｂ［ｔｉ）?＋?２ｖ人？［々■］?＋?Ｉ?ｒ［４，４＋１］?＋ｅ［ｔｍ］?（３－１）??ｋ＝ｌ?ｋ＝＼??＝ｂｅｇｉｎ?＋ｓｃｏｒｅｓ?＋?ｔｒａｎｓｉｔｉｏｎｓ?＋ｅｎｄ?（３－２）??这里ｒｅ?ｒ９ｘ９是标签转移矩阵，即如果上一个标签是；ｃ，下一个标签是ｙ??的概率，ｈｅ?ｅＲ９用于补充起始单词和结尾单词取到对应标签时的代价。转移??矩阵ｒ就是条件随机场为什么能捕捉到相邻单词标签的关键


本文编号：3235609