基于BiLSTM的汉语框架语义角色识别方法研究

发布时间：2024-04-20 02:31

　　语义分析是自然语言处理领域多年来研究的热点和难点问题,也是当前机器翻译、信息检索、搜索引擎等应用系统面临的主要技术瓶颈。汉语框架语义角色识别是面向汉语的框架语义分析中一个重要环节。目前,基于双向长短期记忆的神经网络(BiLSTM)在语义角色识别与标注任务上使用较多,并且取得了很好的效果。但该类模型也存在着一些问题,如模型的预测结果并不稳定,可复现性较差;在大的语料上训练模型需要很大的计算开销;模型的性能也和输入端特征的设置紧密相关等。为此,本文研究基于BiLSTM模型进行汉语框架语义角色识别任务的建模方法,重点研究建模中的超参数调优和模型输入端特征的表示学习的改进方法。本文将当前词、当前词的词性、目标词和当前词相对目标词的位置信息4个输入端特征,以及BiLSTM层次数目、模型顶层是否添加CRF分类器2个模型架构的设计选项,统一做为模型的超参数。传统的超参数调优方法,一般都将完整语料按照所谓标准的8:1:1比例切分,采用超参数逐个加入模型的贪心策略来选到最优的超参数组合,但该方法计算开销大,结果依赖超参数进入模型的顺序,稳定性较差。为此,本文提出了一种基于稳健设计的模型超参数调优方法,该...

【文章页数】：108 页

【学位级别】：博士

【文章目录】：
中文摘要
英文摘要
第一章 绪论
    1.1 研究背景及意义
    1.2 国内外研究现状
        1.2.1 传统的统计机器学习方法
        1.2.2 神经网络方法
    1.3 汉语框架语义分析架构
        1.3.1 框架语义学
        1.3.2 Frame Net简介
        1.3.3 汉语框架语义知识库介绍
        1.3.4 汉语框架语义分析模型
    1.4 本文的主要研究问题、思路和组织结构
第二章 基于Bi LSTM的语义角色识别模型
    2.1 汉语框架语义角色识别任务
    2.2 双向长短期记忆网络
    2.3 基于Bi LSTM的语义角色识别模型
    2.4 评价指标的3×2交叉验证估计和模型比较的Bayes检验
        2.4.1 精确率(P)、召回率(R)和F₁值
        2.4.2 3×2交叉验证
        2.4.3 3×2 交叉验证下P、R和F₁值的分布函数及置信区间
    2.4.4 模型比较的Bayes假设检验
    2.5 实验结果与分析
        2.5.1 实验设置
        2.5.2 实验结果
    2.6 本章小结
第三章 基于稳健设计的Bi LSTM语义角色识别模型的超参数调优方法
    3.1 问题描述
    3.2 基于稳健设计的超参数调优方法简介
    3.3 模型的超参数
    3.4 稳健设计
    3.5 实验结果与分析
        3.5.1 实验设置
        3.5.2 超参数的最优配置组合
        3.5.3 超参数(因子)对性能指标F₁值影响的定量分析
    3.6 与 8:1:1 切分语料得到的实验结果的比较
    3.7 本章小结
第四章Bi LSTM语义角色识别模型中特征的表示学习的改进方法
    4.1 一种校正的GloVe的词表示学习方法
        4.1.1 词表示学习简介
        4.1.2 校正GloVe的理论基础
        4.1.3 校正GloVe模型的具体方法51
        4.1.4 实验结果与分析
    4.2 区分左右上下文信息的GloVe词表示学习方法
        4.2.1 问题描述
        4.2.2 区分左右上下文信息的词表示学习方法
        4.2.3 实验结果与分析
    4.3 框架表示学习
        4.3.1 框架排歧介绍
        4.3.2 框架的表示学习方法
        4.3.3 框架排歧任务的实验结果
        4.3.4 框架语义角色识别任务的实验结果
    4.4 本章小结
第五章 结论及展望
    5.1 结论
    5.2 展望
参考文献
攻读博士学位期间取得的研究成果
致谢
个人简况及联系方式



本文编号：3958739