基于上下文语义嵌入的多原型词向量计算模型

发布时间：2023-05-18 22:20

　　深度学习在自然语言处理领域显示出越来越重要的地位,词的向量化表示作为深度学习模型中最为常用的词语表示方法,直接影响着是否能充分表示文本特征。在多数词向量模型中,单词在不同的上下文语境中都是使用同一个词向量即单原型词向量,而实际的语言表达往往会存在单词语义的歧义性,有些单词在不同的上下文中表达不同的意思。目前的词向量计算多采用单原型词向量的表示方式,将多个语义合成为一个向量进行表示,这种方法并不能很好地表现出多义词在不同语境中有不同用法的特点。为了克服这个问题,本文提出了一种基于上下文语义嵌入的多原型词向量计算模型来对当前词向量模型进行改进。本文的工作主要包括下面几个部分:1)对于多原型词向量计算过程中的词义归纳问题,由于不同的词语在语义数量上的差异性,在对不同单词的语义进行聚类时类簇的数目K应该根据单词词义的复杂度确定。本文针对不同词语的语义数目不同问题和不同语义分布不均衡问题提出使用双参数狄利克雷构造贝叶斯非参数模型来解决;2)为了证明提出的贝叶斯非参数模型进行词义归纳可行性,根据提出的两种双参数狄利克雷过程构造方法的特点提出两种完整的词义归纳算法,对于其中的非参成分使用吉布斯采样进...

【文章页数】：84 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第一章 绪论
    1.1 研究背景
    1.2 国内外研究现状
        1.2.1 传统解决方法
        1.2.2 当前解决方法
    1.3 本文的主要工作
    1.4 本文的组织结构
第二章 词向量相关技术
    2.1 引言
    2.2 词的表示方法
        2.2.1 离散表示
        2.2.2 分布式表示
        2.2.3 神经网络语言模型
    2.3 多原型词向量相关介绍
    2.4 本章小结
第三章 基于贝叶斯非参数的词义归纳
    3.1 引言
    3.2 贝叶斯非参数模型
        3.2.1 非参数模型
        3.2.2 狄利克雷过程
        3.2.3 狄利克雷过程混合模型
        3.2.4 Pitman-Yor过程
    3.3 PYP词义归纳算法
        3.3.1 PYP-CRP词义归纳算法
        3.3.2 PYP-stick词义归纳算法
    3.4 实验
        3.4.1 PYP有效性验证实验
        3.4.2 词义归纳实验
    3.5 本章小结
第四章 基于神经网络的多原型词向量表示
    4.1 引言
    4.2 经典多原型词向量模型
    4.3 biLSTM-PYP模型
        4.3.1 上下文向量计算模型
        4.3.2 词义归纳和表示模型
    4.4 实验
        4.4.1 多原型词向量训练
        4.4.2 单词相似度实验
        4.4.3 多原型词向量应用实验
    4.5 本章小结
第五章 总结与展望
    5.1 本文工作总结
    5.2 本文工作展望
致谢
参考文献
简历与科研成果



本文编号：3819107