基于多任务的元学习方法在细粒度实体分类中的研究

发布时间：2021-02-08 01:40

　　互联网发展至今,每时每刻都会产生海量的非结构化信息数据,需要利用信息抽取技术自动地将其转化为结构化知识数据存储并利用。细粒度实体分类任务是信息抽取研究关键性的基础任务之一,为知识图谱、知识库的构建提供了关键性的技术支撑。细粒度实体分类领域高质量数据资源匮乏,人工标注成本高,数据成为了模型的瓶颈。如何利用已有资源数据,获得更好的模型泛化能力,以及如何在少样本领域,有效地利用新标注的资源,都是亟待解决的问题。本文针对上述挑战,提出了两种方法,一种是针对整合现有数据集的多任务学习方法,另一种则是针对少样本领域的多任务元学习方法。（1）基于多任务的细粒度实体分类的方法。本文设计了基于多任务学习的硬参数共享机制,通过整合多个现有数据集和自主创建的数据集,得到一个通用型模型。此模型借助实体类型的层级信息,构建了实体类型的嵌入式表达;并通过共享特征抽取层,隐式地增加了训练数据,提高了网络的学习能力;在任务层方面,增强了与任务相关的信息,使得共享层的输出能够更加贴合任务本身,进一步提升模型拟合能力。实验结果证明,不论是数据集还是多任务学习的方法,对于细粒度实体分类任务都有较强的提升效果,最佳的模型在原... 

【文章来源】：浙江大学浙江省 211工程院校 985工程院校 教育部直属院校

【文章页数】：85 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第1章 绪论
    1.1 课题背景
    1.2 研究目的和本文主要工作
    1.3 论文组织结构
    1.4 本章小结
第2章 国内外研究现状
    2.1 细粒度实体分类方法
        2.1.1 基于手工特征的传统细粒度实体分类方法
        2.1.2 基于深度学习的细粒度实体分类方法
    2.2 元学习
        2.2.1 基于模型的元学习算法
        2.2.2 基于优化方法的元学习算法
        2.2.3 基于矩阵度量的元学习算法
    2.3 多任务学习
    2.4 其他技术
        2.4.1 迁移学习
        2.4.2 小样本学习
    2.5 本章小结
第3章 基于多任务的细粒度实体分类方法
    3.1 引言
    3.2 多任务实体分类模型设计
        3.2.1 共享层模型设计
        3.2.2 任务层模型设计
        3.2.3 总体模型设计
    3.3 实验设计与结果分析
        3.3.1 数据集介绍
        3.3.2 模型参数
        3.3.3 评测指标和损失函数
        3.3.4 实验结果与分析
    3.4 本章小结
第4章 基于多任务的元学习细粒度实体分类方法
    4.1 引言
    4.2 基于多任务的元学习细粒度实体分类模型
        4.2.1 实体分类模型共享层
        4.2.2 基于梯度下降的元学习算法
        4.2.3 基于原型网络的元学习算法
    4.3 实验设计与结果分析
        4.3.1 实验环境
        4.3.2 数据集介绍
        4.3.3 模型参数
        4.3.4 评测指标
        4.3.5 结果与分析
    4.4 本章小结
第5章 细粒度实体分类系统应用
    5.1 细粒度实体分类在知识图谱构建中的应用
        5.1.1 TAC-KBP2019 子任务要求
        5.1.2 任务结果
    5.2 细粒度实体分类在中国工程科技知识中心建设项目的应用
        5.2.1 工程知识中心项目与知识计算平台引擎介绍
        5.2.2 在知识计算引擎平台中的应用
    5.3 本章小结
第6章 总结与展望
    6.1 全文总结
    6.2 未来研究方向
参考文献
攻读硕士学位期间主要的研究成果
致谢



本文编号：3023167