命名实体识别的领域适应性研究及应用

发布时间：2021-04-25 04:25

　　命名实体识别是自然语言处理领域的核心基础性任务之一,其任务是从文本中提取特定类型的实体。在信息检索、问答系统、信息抽取、文本挖掘、舆情分析等下游自然语言处理任务中具有重要的科学意义和广泛的应用价值。从目前已有的研究成果来看,命名实体识别研究在专有领域（社交媒体、医疗领域）识别的结果,受困于高质量标注语料规模小的现状,对比传统领域性能更差。使得专有领域命名实体识别成为一个有挑战性的研究领域。如何进行命名实体识别的领域适应性迁移,提高专有领域模型的性能是本课题的主要研究内容。本文主要研究内容包括:（1）综述命名实体识别的研究背景及发展历程,分析比较常见命名实体模型的性能优劣,并阐述了迁移学习在命名实体识别领域适应性研究的可行性。（2）对基于深度学习的命名实体识别模型算法Bi LSTM-CRF模型进行归纳并改进,通过Glove语言模型将字符文本转化为低维稠密向量,同时利用双向长短期记忆网络提取字符级别的特征,将字词结合的向量表示利用CRF层计算并输出最优标记序列。构建端到端的实体识别模型。（3）设计并实现了ERNIE-Bi GRU-CRF模型。针对深度学习方法处理命名实体识别任务时,经典的词... 

【文章来源】：山东理工大学山东省

【文章页数】：62 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 研究背景
        1.1.1 课题来源及意义
        1.1.2 国内外研究现状
    1.2 主要研究内容
    1.3 论文组织结构
    1.4 本章小结
第二章 问题描述及相关技术
    2.1 命名实体识别
        2.1.1 形式化定义
        2.1.2 命名实体标签集合
        2.1.3 评估指标
    2.2 神经网络
        2.2.1 神经网络概述
        2.2.2 循环神经网络
    2.3 文本表示
        2.3.1 语言模型
        2.3.2 word2vec
        2.3.3 Glove语言模型
    2.4 迁移学习
        2.4.1 迁移学习基本概念
        2.4.2 迁移学习方法
    2.5 条件随机场
    2.6 本章小结
第三章 结合预训练和深度学习的命名实体识别模型
    3.1 RNN-CRF命名实体识别框架
        3.1.1 框架结构
        3.1.2 性能测试
    3.2 基于ERNIE-BIGRU-CRF的中文命名实体识别模型
        3.2.1 ERNIE-BiGRU-CRF模型
        3.2.2 ERNIE预训练语言模型
        3.2.3 门控循环单元网络
        3.2.4 CRF层
    3.3 模型训练及参数配置
        3.3.1 实验环境
        3.3.2 模型优化算法及参数配置
    3.4 实验结果与分析
        3.4.1 实验数据集
        3.4.2 不同模型的对比实验
    3.5 本章小结
第四章 TL-BILSTM-CRF迁移学习模型命名实体识别框架
    4.1 TL-BILSTM-CRF迁移学习模型
        4.1.1 字词结合的表示层
        4.1.2 词适应层
        4.1.3 CRF层
    4.2 模型训练与实验环境配置
        4.2.1 参数初始化
        4.2.2 实验环境配置
    4.3 结果分析
        4.3.1 实验数据集
        4.3.2 模型性能分析
        4.3.3 对比实验
    4.4 本章小结
第五章 总结与展望
    5.1 本文工作总结
    5.2 展望未来
参考文献
在读期间公开发表的论文
致谢



本文编号：3158697