基于强化学习的命名实体识别算法研究

发布时间：2020-12-25 09:38

　　文本信息是互联网中海量数据的主要表现形式之一,也是人类目前获取知识的最普遍途径。这类数据往往表现出非结构化和语义多样化等特点,因此对文本进行知识抽取是自然语言处理技术的关键难题。命名实体识别就是信息抽取领域中一个基础任务。现有的命名实体识别模型可以分为基于统计的方法和基于深度学习的方法。前者需要人工抽取特征模板进行模式匹配,后者主要通过深度神经网络进行端到端的文本语义解析,从而实现自动标注。与此同时,深度学习的发展增强了强化学习的表达能力,使其在游戏、控制系统上取得了一定的进展。在这个背景下,本文主要研究了强化学习在命名实体识别任务上的应用,主要工作如下:（1）针对标注全局性的要求,本文设计了面向命名实体识别的马尔科夫决策过程（MDP）。与Maes等人的工作不同在于:本文利用神经网络对MDP状态进行语义建模,改善了传统MDP模型手工抽取特征的不足。在基于策略梯度求解的实验中,本文总结了算法的高方差、低经验利用率等缺陷,进一步提出了本文的核心问题:如何求解MDP模型使其具有找到接近全局最优标注序列的能力?（2）针对（1）中的核心问题,本文提出了新颖的基于策略价值网络的模型,称为MM-NE... 

【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校

【文章页数】：67 页

【学位级别】：硕士

【部分图文】：

图１－１阿里小蜜信息处理流程图⑴??习习监习之一习，它理??

征、停用讪特征、核心词特征以及语义特征等。基ｊ？统Ｕ？的模型主要以丨ＩＭＭ、??ＭＥＭＭ和ＣＲＦ为代表。这三者都属于图模型，其中ＨＭＭ和ＭＥＭＭ为有向图??模型，ＣＲＦ则为无向图模型，具体阁模型的对比见图２－１。??〇＾＞〇?ＣＫ＞－＜ｐ?０＊９＊９??００００６６６６０??ＨＭＭ?ＭＥＭＭ?ＣＲＦ??图２－１?ＨＭＭ，?ＭＥＭＭ和Ｌｉ?ｎｅａｒ?ＧＲＦ的图糢型结构对比图??ＨＭＭ适用于解决的问题？般具有两个特征：（１）问题是越于序列的。（２）??问题中存在两类数据，一类序列数据是可以观测到的，记为可观测序列Ｘ；另－？??类数据是不可观测的，记为隐藏状态序列Ｙ。ＨＭＭ在基于齐次马尔科夫链假设??和观测独立性的假设下对这两类数据进行建模。前者假设任意时刻的隐藏状态只??依赖于它前？个时刻的隐藏状态，而后者假设任意时刻的可观测序列仪仅依赖于??当前时刻的隐藏状态。因此模型在定义状态转移矩阵、发射矩阵和初始状态分布??７??

折扣因子（ＤｉｓｃｏｕｎｔＦａｃｔｏｒ，ｙ）：表示主体对米来奖励的不确定性评估，其中??ｙｅ?［〇，１］。??主体和环境交互过程由图２－６给出，主体在当前状态Ｓｔ卜根据当前策略ｔｔ选??择动作Ａｔ。环境在动作Ａｔ的影响下根据转移概率Ｐ转移到下一时刻的状态Ｓｔ＋１，??并将奖励Ｒｔ反馈给主体。??与监督学习不同的是强化学习算法不再需要有标签的监督。从模型求解方法??上看，强化学习模型主要分为基于价值函数的算法、基于策略的算法和同时学习??价值和策略的算法。??１４??


本文编号：2937396