面向农业领域的命名实体识别研究
发布时间：2022-01-03 02:52
命名实体识别是指将非结构化文本中的命名实体进行定位和分类为预先定义的类别,它是自然语言处理中一项至关重要的基础任务,被应用到了很多高级别的自然语言处理任务之中。在农业信息化时代,互联网上储存着大量的非结构化农业文本,如何将这些杂乱无章的农业文本转化成高质量、结构化的农业信息和农业知识,是实现智慧农业的关键。因此,农业领域命名实体识别是一个非常有研究意义的课题。本文主要研究如何利用神经网络模型从农业文本中识别出与农业领域有关的9类命名实体,并且从识别效果、模型训练时间、模型解码时间和显存占用等多个方面来分析所提出模型的优缺点。本文的工作内容和创新点可以总结为以下三点:（1）本文首先选择目前比较流行的（Bi-directional Long Short-Term Memory,BiLSTM）双向长短期记忆网络与条件随机场（Conditional Random Field,CRF）相结合的神经网络架构作为基准模型,然后对其进行优化改进,提出了一种基于稠密连接的深层BiLSTM模型——DC-BiLSTM,并引入了注意力机制对文本中的实体片段进行关注,加大实体部分特征和非实体部分特征的区别,使实...
【文章来源】：安徽农业大学安徽省
【文章页数】：69 页
【学位级别】：硕士
【部分图文】：
图２－２?ＲＮＮ神经元结构图??Ｆｉｇ?２－２?Ｒｅｃｕｒｒｅｎｔ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋ?ａｒｃｈｉｔｅｃｔｕｒｅ??
任意线性模型的组合任然是线性模型，而??线性模型能解决的问题是有限的。深度学习是一类通过多层非线性变换对高度复杂数??据建模算法的合集，它有两个非常重要的特性一一多层和非线性。激活函数是实现非??线性变换的关键，它为神经元添加了非线性因素，使得神经网络可以任意逼近任何非??线性函数，这样神经网络就从线性模型转变为非线性模型。在神经网络模型中最常使??用的激活函数有Ｓ／ｇｗｏ／Ａｔｏｎ／ｒ和；？￡／？？，下面我们来具体介绍这三种常用的激活函数，??并对它们的优缺点进行分析：??（１）图２－４是？Ｓ／ｇｗｏＷ函数曲线图，它是一个Ｓ型函数，由于其单增以及反函??数单增等性质，函数常被用作神经网络的阈值函数，例如在ＬＳＴＭ的门结构??中就大量用到了此激活函数，公式２－１２是它的数学表达式：??／Ｗ?＝?士?（２－１２）??／＾＼??０８?／??。廿ｆ—－／一??０４?／??Ｉ＿Ｉ?／?１??０．２?－??—?Ｊ?？－??０．０?■??—??－１０．０?－７．５?－５．０?－２．５?０．０?２．５?５．０?７．５?１０．０??图２－４?Ｓｉｇｍｏｉｄ函数曲线图??Ｆｉｇ?２－４?Ｓｉｇｍｏｉｄ?ｆｕｎｃｔｉｏｎ?ｇｒａｐｈ??＆加―函数的定义域在（－々ｅｘ）），值域在（〇，１），它的优点是：可以压缩数据并且幅??度不变；具有很好的对称性，函数输入超过一定范围不敏感；处处连续便于求导。它??的缺点是：趋于无穷的区域函数值变换很小，不利于深层神经网络的反向传播，很容??易造成梯度消失；输出不是０均值，会导致后层的神经元输入是非０均值的信号，这??样在反向传播过程中梯度要么向正方向更新，要么往负方向更新，使得模
（２）图２－５是ｔｏｎ／？函数曲线图，它是双曲正切函数，外型与Ｓ／ｇｗｏＷ很相似，??在特征相差明显时它的效果会很好，在循环过程中会不断扩大特征的效果，因此在??ＬＳＴＭ中被用在了状态和输出上，公式２－１３是它的数学表达式：??＝?ｅ?－ｅ?（２－１３）??ｃｏｓｈｘ?ｅｘ?＋ｅ?ｘ??１．００????ｒ??０．５０?／??０２５??〇?〇〇?．?一?．??－０．２５?Ｉ．??－〇－５０??仙?Ｊ??－１．００????－１００?－７．５?－５．０?－２．５?０．０?２．５?５．０?７．５?１０．０??图２－５ｔａｎｈ函数曲线图??Ｆｉｇ?２－５?ｔａｎｈ?ｆｕｎｃｔｉｏｎ?ｇｒａｐｈ??函数的定义域在（－〇〇，〇〇），值域在（＿１，１），它的输出是０均值的，不会存在??ｚｅｒｏ－ｃｅｎｔｅｒｅｄ问题，但是函数也会存在梯度饱和问题，导致训练效率低下。??（３）图２－６是心Ｌｈ函数曲线图，它又称作修正线性单元，常用于隐层神经元输??出，它的数学表达式如下：??）＼ｘ）?＝?ｍａｘ（０，ｘ）?（２－１４）??１０?／??８?—．?１???／??／??＞１?／??卜「１?＾ｒ?ｐ－??－１０．０?－７．５?－５．０?－２．５?０．０?２．５?５．０?７．５?１０．０??图２－６ＲｅＬｕ函数曲线图??Ｆｉｇ?２－６?ＲｅＬｕ?ｆｕｎｃｔｉｏｎ?ｇｒａｐｈ??１３??
【参考文献】：
期刊论文
[1]利用数据挖掘技术建设农业智能综合信息服务平台[J]. 张伟,欧吉顺,周楚新. 农业网络信息. 2011(08)
[2]命名实体识别研究进展综述[J]. 孙镇,王惠临. 现代图书情报技术. 2010(06)
[3]融合多特征的最大熵汉语命名实体识别模型[J]. 张玥杰,徐智婷,薛向阳. 计算机研究与发展. 2008(06)
[4]中文金融新闻中公司名的识别[J]. 王宁,葛瑞芳,苑春法,黄锦辉,李文捷. 中文信息学报. 2002(02)
硕士论文
[1]基于CRF的农业命名实体识别研究[D]. 王春雨.河北农业大学 2014
[2]基于CRF的中文命名实体识别研究[D]. 史海峰.苏州大学 2010
[3]基于统计的生物命名实体识别研究[D]. 邱莎.四川大学 2006
本文编号：3565414
【文章来源】：安徽农业大学安徽省
【文章页数】：69 页
【学位级别】：硕士
【部分图文】：
图２－２?ＲＮＮ神经元结构图??Ｆｉｇ?２－２?Ｒｅｃｕｒｒｅｎｔ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋ?ａｒｃｈｉｔｅｃｔｕｒｅ??
任意线性模型的组合任然是线性模型，而??线性模型能解决的问题是有限的。深度学习是一类通过多层非线性变换对高度复杂数??据建模算法的合集，它有两个非常重要的特性一一多层和非线性。激活函数是实现非??线性变换的关键，它为神经元添加了非线性因素，使得神经网络可以任意逼近任何非??线性函数，这样神经网络就从线性模型转变为非线性模型。在神经网络模型中最常使??用的激活函数有Ｓ／ｇｗｏ／Ａｔｏｎ／ｒ和；？￡／？？，下面我们来具体介绍这三种常用的激活函数，??并对它们的优缺点进行分析：??（１）图２－４是？Ｓ／ｇｗｏＷ函数曲线图，它是一个Ｓ型函数，由于其单增以及反函??数单增等性质，函数常被用作神经网络的阈值函数，例如在ＬＳＴＭ的门结构??中就大量用到了此激活函数，公式２－１２是它的数学表达式：??／Ｗ?＝?士?（２－１２）??／＾＼??０８?／??。廿ｆ—－／一??０４?／??Ｉ＿Ｉ?／?１??０．２?－??—?Ｊ?？－??０．０?■??—??－１０．０?－７．５?－５．０?－２．５?０．０?２．５?５．０?７．５?１０．０??图２－４?Ｓｉｇｍｏｉｄ函数曲线图??Ｆｉｇ?２－４?Ｓｉｇｍｏｉｄ?ｆｕｎｃｔｉｏｎ?ｇｒａｐｈ??＆加―函数的定义域在（－々ｅｘ）），值域在（〇，１），它的优点是：可以压缩数据并且幅??度不变；具有很好的对称性，函数输入超过一定范围不敏感；处处连续便于求导。它??的缺点是：趋于无穷的区域函数值变换很小，不利于深层神经网络的反向传播，很容??易造成梯度消失；输出不是０均值，会导致后层的神经元输入是非０均值的信号，这??样在反向传播过程中梯度要么向正方向更新，要么往负方向更新，使得模
（２）图２－５是ｔｏｎ／？函数曲线图，它是双曲正切函数，外型与Ｓ／ｇｗｏＷ很相似，??在特征相差明显时它的效果会很好，在循环过程中会不断扩大特征的效果，因此在??ＬＳＴＭ中被用在了状态和输出上，公式２－１３是它的数学表达式：??＝?ｅ?－ｅ?（２－１３）??ｃｏｓｈｘ?ｅｘ?＋ｅ?ｘ??１．００????ｒ??０．５０?／??０２５??〇?〇〇?．?一?．??－０．２５?Ｉ．??－〇－５０??仙?Ｊ??－１．００????－１００?－７．５?－５．０?－２．５?０．０?２．５?５．０?７．５?１０．０??图２－５ｔａｎｈ函数曲线图??Ｆｉｇ?２－５?ｔａｎｈ?ｆｕｎｃｔｉｏｎ?ｇｒａｐｈ??函数的定义域在（－〇〇，〇〇），值域在（＿１，１），它的输出是０均值的，不会存在??ｚｅｒｏ－ｃｅｎｔｅｒｅｄ问题，但是函数也会存在梯度饱和问题，导致训练效率低下。??（３）图２－６是心Ｌｈ函数曲线图，它又称作修正线性单元，常用于隐层神经元输??出，它的数学表达式如下：??）＼ｘ）?＝?ｍａｘ（０，ｘ）?（２－１４）??１０?／??８?—．?１???／??／??＞１?／??卜「１?＾ｒ?ｐ－??－１０．０?－７．５?－５．０?－２．５?０．０?２．５?５．０?７．５?１０．０??图２－６ＲｅＬｕ函数曲线图??Ｆｉｇ?２－６?ＲｅＬｕ?ｆｕｎｃｔｉｏｎ?ｇｒａｐｈ??１３??
【参考文献】：
期刊论文
[1]利用数据挖掘技术建设农业智能综合信息服务平台[J]. 张伟,欧吉顺,周楚新. 农业网络信息. 2011(08)
[2]命名实体识别研究进展综述[J]. 孙镇,王惠临. 现代图书情报技术. 2010(06)
[3]融合多特征的最大熵汉语命名实体识别模型[J]. 张玥杰,徐智婷,薛向阳. 计算机研究与发展. 2008(06)
[4]中文金融新闻中公司名的识别[J]. 王宁,葛瑞芳,苑春法,黄锦辉,李文捷. 中文信息学报. 2002(02)
硕士论文
[1]基于CRF的农业命名实体识别研究[D]. 王春雨.河北农业大学 2014
[2]基于CRF的中文命名实体识别研究[D]. 史海峰.苏州大学 2010
[3]基于统计的生物命名实体识别研究[D]. 邱莎.四川大学 2006
本文编号：3565414
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3565414.html
