多语义词向量表示及语义相似度的计算研究

发布时间：2025-04-01 03:35

　　词向量是词语的一种分布式表示方法,它将词语映射为一个定长的连续的稠密向量,这种表示方法能够有效和灵活的保有先验知识信息,通过将其集成到具体任务中可以在自然语言处理的多个研究领域取得较好效果。语义相似度可以定量的衡量两个词语或概念之间的相似性,是自然语言理解的基础,并被广泛的应用于自然语言处理相关的任务中。本文从词向量的角度分析语义相似度相关问题,并提出一种多语义词向量训练模型,以改进词语与词语,句子与句子之间的语义相似度效果。传统的词向量训练模型由于没有区分词语的不同语义,使得一个词语只能使用一个向量来表示,并不能解决一词多义的问题。多语义词向量通过将词语的不同语义分别映射为不同的词向量来解决多义词词向量表示的语义混淆问题。本文通过使用词义消岐相关技术对维基百科数据集进行预处理获得可以区分多义词不同语义的标注语料库,然后利用改进的词向量模型训练多语义词向量表示,并将其应用于句子相似度的计算中,具体研究内容包括:(1)基于循环神经网络词义消岐模型。为了能够区分词语在句子中的不同词义,本文提出了一种基于循环环神经网络的词义消岐模型,通过利用双向LSTM捕捉多义词上下文语序特征改进传统词义消岐...

【文章页数】：85 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第1章 绪论
    1.1 研究背景和意义
        1.1.1 研究背景
        1.1.2 研究意义
    1.2 研究现状
        1.2.1 词向量现状
        1.2.2 语义相似度现状
    1.3 研究内容和创新点
        1.3.1 研究内容
        1.3.2 研究创新点
    1.4 论文结构
第2章 相关技术
    2.1 词向量训练模型
        2.1.1 Word2vec
        2.1.2 GloVe
        2.1.3 ELMo
    2.2 深度学习模型
        2.2.1 前馈神经网络
        2.2.2 循环神经网络
    2.3 注意力机制
    2.4 相似度计算
        2.4.1 欧几里得距离
        2.4.2 余弦相似度
        2.4.3 Jaccard系数
        2.4.4 皮尔逊系数
    2.5 本章小结
第3章 基于循环神经网络的词义消岐
    3.1 问题描述
    3.2 相关工作
        3.2.1 基于词典方法
        3.2.2 无监督方法
        3.2.3 有监督方法
    3.3 基于双向LSTM的词义消岐模型
        3.3.1 标注模型
        3.3.2 分类模型
    3.4 实验及分析
        3.4.1 实验设置
        3.4.2 实验结果
        3.4.3 注意力叠加中的N值
    3.5 本章小结
第4章 基于GLOVE的多语义词向量表示及相似度计算
    4.1 问题描述
    4.2 相关工作
        4.2.1 利用无监督聚类算法
        4.2.2 利用额外语义知识库
    4.3 基于GLOVE的多语义词向量模型
        4.3.1 语料库标注方法
        4.3.2 共现矩阵生成方法
        4.3.3 多语义词向量训练模型
    4.4 多语义词向量相似度度量
    4.5 实验及分析
        4.5.1 实验设置
        4.5.2 邻近词实验
        4.5.3 词语相关性实验
    4.6 本章小结
第5章 基于多语义词向量的句子相似度
    5.1 问题描述
    5.2 相关工作
        5.2.1 传统方法
        5.2.2 深度学习方法
    5.3 多语义LSTM模型
        5.3.1 简单语义平均模型
        5.3.2 基于注意力机制模型
    5.4 实验及分析
        5.4.1 实验设置
        5.4.2 实验结果
    5.5 本章小结
结论
参考文献
攻读硕士学位期间发表的学术成果
致谢



本文编号：4038881