基于深度强化学习的文本实体关系联合抽取研究
发布时间：2022-08-11 21:46
实体和关系的抽取作为自然语言处理中知识抽取的主要环节,是一大研究热点。然而传统的基于流水线的实体关系抽取方法并不能达到良好的效果,现有的联合抽取方法通常需要复杂的特征工程。本文研究基于深度强化学习的文本实体关系联合抽取,提出基于参数迁移学习的实体关系联合抽取预训练方法和基于深度策略梯度的实体关系联合抽取模型。论文的主要研究工作和创新内容如下:1)基于参数迁移学习的实体关系联合抽取预训练方法研究本文首先采用基于共享参数的迁移学习算法实现对实体关系联合抽取的预训练,采用两种共享参数预训练技术-共享词向量参数和共享LSTM联合抽取器参数。该方法提出最新的结合实体位置信息的ALBERT词向量嵌入以构建共享词向量参数;抽取部分数据构建LSTM模型,将预训练的权重矩阵共享到参数相同的LSTM联合抽取器中。融合这两种共享参数技术用于后续的实体关系联合抽取。2)基于深度策略梯度的实体关系联合抽取模型研究本文在基于参数迁移学习的实体关系联合抽取预训练方法的基础上,提出基于深度策略梯度的实体关系联合抽取模型研究。本文首先将经过预训练方法的LSTM联合抽取器得到的输出值作为本模型的动作值。其次初始化强化学习...
【文章页数】：66 页
【学位级别】：硕士
【文章目录】：
摘要
abstract
第1章 绪论
1.1 研究背景及意义
1.2 国内外研究现状
1.2.1 基于迁移学习的实体关系抽取研究现状
1.2.2 基于流水线方法的实体关系抽取研究现状
1.2.3 基于联合抽取方法的实体关系抽取研究现状
1.2.4 国内外研究现状解析
1.3 本文主要研究内容及创新点
1.4 组织结构与安排
第2章 相关理论技术和研究
2.1 实体关系抽取的联合抽取标注策略
2.2 实体关系抽取的深度学习方法理论和技术
2.2.1 词嵌入技术
2.2.2 迁移学习
2.2.3 循环神经网络
2.3 实体关系抽取的强化学习方法理论和技术
2.3.1 强化学习
2.3.2 深度Q学习网络
2.3.3 策略梯度算法
2.4 评价指标
2.5 本章小结
第3章 基于参数迁移学习的实体关系联合抽取预训练方法研究
3.1 基于共享词向量参数的实体关系联合抽取预训练
3.1.1 基于ALBERT的词向量表示
3.1.2 融合实体位置信息的词向量嵌入
3.2 基于共享LSTM联合抽取器参数的实体关系联合抽取预训练
3.3 基于参数迁移学习的实体关系联合抽取预训练方法实现
3.3.1 实体关系联合抽取预训练方法原理
3.3.2 实体关系联合抽取预训练方法描述
3.4 基于公共数据集ACE2005的实验验证
3.4.1 实验数据与实验环境
3.4.2 实验结果与分析
3.5 基于自建医疗文本数据集的实验验证
3.5.1 医疗文本实体关系抽取
3.5.2 医疗文本数据集
3.5.3 实验结果与分析
3.6 本章小结
第4章 基于深度策略梯度的实体关系联合抽取模型研究
4.1 基于深度策略梯度的实体关系训练器
4.2 基于深度策略梯度的实体关系联合抽取模型实现
4.2.1 实体关系联合抽取算法原理
4.2.2 实体关系联合抽取算法描述
4.3 基于公共数据集ACE2005的实验验证
4.3.1 实验设置
4.3.2 实验结果与分析
4.4 基于公共数据集NYT的实验验证
4.5 基于自建医疗文本数据集的实验验证
4.6 本章小结
第5章 总结与展望
5.1 总结
5.2 未来展望
参考文献
致谢
个人简历、在校期间发表学术论文和研究成果
【参考文献】：
期刊论文
[1]基于改进的深度残差网络的图像识别[J]. 汤凯,何庆,赵群,王旭. 南京师大学报(自然科学版). 2019(03)
[2]Trans-NER:一种迁移学习支持下的中文命名实体识别模型[J]. 王银瑞,彭敦陆,陈章,刘丛. 小型微型计算机系统. 2019(08)
[3]基于迁移学习和BiLSTM-CRF的中文命名实体识别[J]. 武惠,吕立,于碧辉. 小型微型计算机系统. 2019(06)
[4]反馈式K近邻语义迁移学习的领域命名实体识别[J]. 朱艳辉,李飞,冀相冰,曾志高,徐啸. 智能系统学报. 2019(04)
[5]循环神经网络研究综述[J]. 杨丽,吴雨茜,王俊丽,刘义理. 计算机应用. 2018(S2)
[6]基于深度神经网络的中文命名实体识别[J]. 张海楠,伍大勇,刘悦,程学旗. 中文信息学报. 2017(04)
[7]融合迁移学习的中文命名实体识别[J]. 王红斌,沈强,线岩团. 小型微型计算机系统. 2017(02)
[8]深度强化学习综述[J]. 刘全,翟建伟,章宗长,钟珊,周倩,章鹏,徐进. 计算机学报. 2018(01)
[9]迁移学习研究进展[J]. 庄福振,罗平,何清,史忠植. 软件学报. 2015(01)
硕士论文
[1]基于高级语义的通用型文本生成迁移学习[D]. 李昊.浙江大学 2019
[2]基于迁移学习的中文短文本情绪分析[D]. 雍若兰.华东师范大学 2018
[3]基于多组分异构迁移学习的图片分类方法[D]. 蒋慧强.华南理工大学 2018
本文编号：3675450
【文章页数】：66 页
【学位级别】：硕士
【文章目录】：
摘要
abstract
第1章 绪论
1.1 研究背景及意义
1.2 国内外研究现状
1.2.1 基于迁移学习的实体关系抽取研究现状
1.2.2 基于流水线方法的实体关系抽取研究现状
1.2.3 基于联合抽取方法的实体关系抽取研究现状
1.2.4 国内外研究现状解析
1.3 本文主要研究内容及创新点
1.4 组织结构与安排
第2章 相关理论技术和研究
2.1 实体关系抽取的联合抽取标注策略
2.2 实体关系抽取的深度学习方法理论和技术
2.2.1 词嵌入技术
2.2.2 迁移学习
2.2.3 循环神经网络
2.3 实体关系抽取的强化学习方法理论和技术
2.3.1 强化学习
2.3.2 深度Q学习网络
2.3.3 策略梯度算法
2.4 评价指标
2.5 本章小结
第3章 基于参数迁移学习的实体关系联合抽取预训练方法研究
3.1 基于共享词向量参数的实体关系联合抽取预训练
3.1.1 基于ALBERT的词向量表示
3.1.2 融合实体位置信息的词向量嵌入
3.2 基于共享LSTM联合抽取器参数的实体关系联合抽取预训练
3.3 基于参数迁移学习的实体关系联合抽取预训练方法实现
3.3.1 实体关系联合抽取预训练方法原理
3.3.2 实体关系联合抽取预训练方法描述
3.4 基于公共数据集ACE2005的实验验证
3.4.1 实验数据与实验环境
3.4.2 实验结果与分析
3.5 基于自建医疗文本数据集的实验验证
3.5.1 医疗文本实体关系抽取
3.5.2 医疗文本数据集
3.5.3 实验结果与分析
3.6 本章小结
第4章 基于深度策略梯度的实体关系联合抽取模型研究
4.1 基于深度策略梯度的实体关系训练器
4.2 基于深度策略梯度的实体关系联合抽取模型实现
4.2.1 实体关系联合抽取算法原理
4.2.2 实体关系联合抽取算法描述
4.3 基于公共数据集ACE2005的实验验证
4.3.1 实验设置
4.3.2 实验结果与分析
4.4 基于公共数据集NYT的实验验证
4.5 基于自建医疗文本数据集的实验验证
4.6 本章小结
第5章 总结与展望
5.1 总结
5.2 未来展望
参考文献
致谢
个人简历、在校期间发表学术论文和研究成果
【参考文献】：
期刊论文
[1]基于改进的深度残差网络的图像识别[J]. 汤凯,何庆,赵群,王旭. 南京师大学报(自然科学版). 2019(03)
[2]Trans-NER:一种迁移学习支持下的中文命名实体识别模型[J]. 王银瑞,彭敦陆,陈章,刘丛. 小型微型计算机系统. 2019(08)
[3]基于迁移学习和BiLSTM-CRF的中文命名实体识别[J]. 武惠,吕立,于碧辉. 小型微型计算机系统. 2019(06)
[4]反馈式K近邻语义迁移学习的领域命名实体识别[J]. 朱艳辉,李飞,冀相冰,曾志高,徐啸. 智能系统学报. 2019(04)
[5]循环神经网络研究综述[J]. 杨丽,吴雨茜,王俊丽,刘义理. 计算机应用. 2018(S2)
[6]基于深度神经网络的中文命名实体识别[J]. 张海楠,伍大勇,刘悦,程学旗. 中文信息学报. 2017(04)
[7]融合迁移学习的中文命名实体识别[J]. 王红斌,沈强,线岩团. 小型微型计算机系统. 2017(02)
[8]深度强化学习综述[J]. 刘全,翟建伟,章宗长,钟珊,周倩,章鹏,徐进. 计算机学报. 2018(01)
[9]迁移学习研究进展[J]. 庄福振,罗平,何清,史忠植. 软件学报. 2015(01)
硕士论文
[1]基于高级语义的通用型文本生成迁移学习[D]. 李昊.浙江大学 2019
[2]基于迁移学习的中文短文本情绪分析[D]. 雍若兰.华东师范大学 2018
[3]基于多组分异构迁移学习的图片分类方法[D]. 蒋慧强.华南理工大学 2018
本文编号：3675450
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3675450.html
