基于图模型的序列标注技术研究

发布时间：2021-10-15 17:06

　　近年来,人工智能技术发展迅猛,不少成熟的商业产品已经在我们身边切实落地。在人工智能技术中,自然语言处理是一项至关重要的技术手段,它可以有效帮助计算机理解人类的自然语言,进而进行有效的人机交互或是数据挖掘。因此,自然语言处理技术在这数十年来被广泛关注,并且进行了大量的研究。自然语言处理中包含了许多研究方向,包括机器翻译,它是一种语言互译的系统,用以帮助不同语言的人群得以方便交流;自动问答系统,它是一种人机交互系统,用以与用户交流,快速帮助客户解决相应领域的问题。在本文中,我们着重于自然语言处理中的序列标注的任务。序列标注技术主要用于语义分析、命名实体识别等语义理解任务中。通过序列标注技术,可以有效从句子中抽取出相对应的成分,帮助计算机理解句子组成。在一个自然语言处理任务中,序列标注技术往往是一个预处理步骤,其性能的好坏直接影响着下游任务的性能。所以,构建一个高效的序列标注模型至关重要。在这个动机下,本文首先提出了一种层次注意力的神经网络半马尔可夫条件随机场模型。该模型使用层次结构来结合字符级别和字级别信息,并将注意力机制应用于两个层次。我们在三个序列标注任务上评估了提出的模型,验证了模型... 

【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校

【文章页数】：61 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第1章 绪论
    1.1 研究背景
        1.1.1 人工智能
        1.1.2 自然语言处理
    1.2 研究目的与意义
    1.3 相关研究现状
        1.3.1 序列标注模型
        1.3.2 研究现状总结
    1.4 具体研究内容和主要贡献
        1.4.1 基于深度学习的半马尔科夫条件随机场
        1.4.2 基于编码模式的隐变量马尔科夫模型
        1.4.3 基于深度学习的编码超图模型
    1.5 本文的组织结构
第2章 基于深度学习的层次注意力半马尔科夫条件随机场
    2.1 预备知识和问题定义
        2.1.1 半马尔科夫条件随机场概念
        2.1.2 长短时记忆神经网络
        2.1.3 基于神经网络的半马尔科夫条件随机场
    2.2 层次注意力神经网络半马尔科夫条件随机场
        2.2.1 字符级别编码器
        2.2.2 字级别编码器
        2.2.3 半马尔科夫条件随机场层
    2.3 实验结果和分析
        2.3.1 实验设置和数据集介绍
        2.3.2 命名实体识别
        2.3.3 浅层语义分析
        2.3.4 引文分析
    2.4 本章小结
第3章 基于编码模式的隐变量条件随机场模型的序列标注研究
    3.1 预备知识和问题定义
        3.1.1 隐变量条件随机场
        3.1.2 编码模式
        3.1.3 问题定义
    3.2 基于编码模式的隐变量条件随机场
        3.2.1 隐变量条件随机场I
        3.2.2 隐变量条件随机场II
        3.2.3 训练过程
    3.3 实验结果和分析
        3.3.1 实验设置和数据集介绍
        3.3.2 命名实体识别
        3.3.3 浅层语义分析
        3.3.4 参考文献解析
    3.4 本章小结
第4章 基于深度学习的编码超图模型的序列标注研究
    4.1 预备知识和问题定义
        4.1.1 超图模型
        4.1.2 基于神经网络的超图模型
        4.1.3 问题定义
    4.2 基于神经网络的编码超图模型
        4.2.1 Mention Hyphergraph模型
        4.2.2 神经网络编码超图模型
        4.2.3 神经网络编码超图模型
    4.3 实验结果和分析
        4.3.1 实验设置和数据集介绍
        4.3.2 ACE2004 数据集
        4.3.3 ACE2005 数据集
        4.3.4 GENIA数据集
    4.4 本章小结
结论
参考文献
攻读学位期间发表的论文
致谢



本文编号：3438324