基于条件随机场的中文期刊论文信息识别与抽取

发布时间：2020-06-10 02:06

【摘要】：期刊论文作为知识信息的载体和研究人员获取专业知识的一个重要渠道,对促进专业技术的推广、研究成果的传播有极其重要的作用。基于期刊论文全文信息的相关研究有利于提升期刊资源的使用价值以及用户获取信息的效率。目前,已经存在很多论文信息抽取的相关工具,但其在中文期刊论文信息的抽取中效率并不高。所以在此基础上,本文对现有的论文信息抽取工具做了适用性改进,使其更好地应用在中文领域。通过对期刊论文信息抽取方法及工具的对比分析,本文选取条件随机场算法和GROBID工具进行中文期刊论文信息的识别与抽取。主要研究内容与取得成果包括:(1)深入对比分析了期刊论文信息识别与抽取的相关方法和工具,发现条件随机场算法和GROBID工具在论文信息抽取中准确率更高,因此本文采用条件随机场算法和GROBID工具进行中文期刊论文信息的识别与抽取。同时,详细介绍了基于条件随机场的中文期刊论文信息识别与抽取的关键技术。(2)基于条件随机场算法和GROBID工具构建了中文期刊论文信息识别与抽取级联模型,包括segmentation模型、header模型、reference-segmentation模型、citation模型以及fulltext模型。针对中文期刊论文信息的特点,通过文本预处理、特征选择、序列标注和特征模板制定一系列流程完成了对模型的设计与实现。(3)选取12种农业领域中文期刊论文数据对模型进行训练,利用准确率、精准率、召回率以及F1值四个指标对各个模型的效果展开评估,并与GROBID工具的抽取效果进行对比。实验结果显示,中文期刊论文信息抽取模型中segmentation模型、header模型、reference-segmentation模型、citation模型的效果相对GROBID工具显著提升,该模型能够准确、高效的识别和抽取出中文期刊论文头信息和引文信息。
【图文】：

论文结构,表达模型

图 2- 1 JATS 论文结构表达模型Fig 2-1 JATS paper structure expression model2.3 基于机器学习的论文信息抽取方法对比分析机器学习是基于统计学的方法即是通过建立输入数据与输出数据的概率模型，解决一些预测标注问题。论文信息抽取可以看作是一种分类标注问题。在使用机器学习的方法对论文信息进行抽取时，，实现步骤如下：首先根据抽取任务确定选择特征，根据特征生成对应数据文件。其次将标记好的数据文件作为训练数据输入，进行训练，生成相应的抽取模型。最后可以输入未标记的数据文件以及生成的模型文件，得到目标信息即模型标注的结果。基于机器学习的论文信息抽取方法主要包括 HMM、SVM 以及 CRF。表 2-1 为以上三种方法的对比分析。

图结构

中国农业科学院硕士学位论文第二章期刊论文信息识别与抽取的相关理论研究本文将会对其相关机器学习技术的背景历史及其相关的优化算法进行介绍。首先介绍隐马尔可模型及其推理算法。其次介绍了多种逻辑回归算法，最后介绍在前面的方法基础上提出了最大马尔可夫模型（Maximum Entropy Markov Model，MEMM）和条件随机场。2.5.1 隐马尔可夫模型隐马尔可夫模型(Hidden Markov Models，HMM)是机器学习领域中比较流行的一种模型HMM 是基于统计学具有丰富数学理论结构的模型，能够在许多的研究中应用。近年来，HM已经成为了许多领域研究例如自然语言处理领域中重要的一种方法。构建 HMM 模型即获得一个长度为 T 的未知隐藏状态序列的概率分布，y =（，，...，）其元素在有限状态集合 S 中取值，并遵循马尔可夫处理。对于这个隐藏序列中的每个元素，都一个相应的观察元素，形成一系列的观察值 x =（， ,...，），同样地在有限集 O 中取值。
【学位授予单位】：中国农业科学院
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：G255.2

【相似文献】