基于词向量多维度注意力的卷积神经网络短文本语义相似度检测算法

发布时间：2021-05-09 09:52

　　信息爆炸时代的到来使得每天在互联网中所流通的信息量急剧攀升,文本作为承载信息的主要载体也使得自然语言处理成为重要的议题,其中短文本相似度检测问题是一项重要的议题,即对于给定的两项短文本,用数字去量化它们之间的语义相似程度。在信息检索领域,短文本相似度检测算法可以帮助我们对文章进行初步的归类与消重。本文基于孪生卷积神经网络来处理两项短文本的文本相似度问题,我们使用GloVe词嵌入层模型用于描述短文本的特征,在嵌入层之后使用了两个维度来计算注意力矩阵,然后对句子的特征矩阵进行加权与原特征矩阵进行拼接。在卷积层,我们根据计算注意力矩阵时所使用的不同维度在卷积层也使用了不同粒度的卷积核。对于词向量维度的注意力矩阵加权拼接后的特征矩阵,我们使用整体卷积核进行卷积计算,而对于词向量单个维度的注意力矩阵加权拼接后的特征矩阵,我们使用单维卷积核进行卷积计算。根据计算注意力矩阵的维度和卷积核粒度的不同,以上的过程天然将我们的模型划分成了module_A和module_B两个数据流,本文参考了Hua20He等人的池化方式对module_A和mod... 

【文章来源】：华中科技大学湖北省 211工程院校 985工程院校 教育部直属院校

【文章页数】：63 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
1 绪论
    1.1 研究背景与意义
    1.2 国内外研究概况
    1.3 本文研究方向
2 相关理论研究
    2.1 基于字符统计的语义相似度检测
    2.2 基于神经网络的语义相似度检测
    2.3 本章小结
3 新的语义相似度检测算法
    3.1 模型概述与算法流程
    3.2 多个维度的注意力
    3.3 不同粒度的卷积核
    3.4 多样的池化策略
    3.5 本章小结
4 实验结果与分析
    4.1 实验环境
    4.2 实验设计
    4.3 实验结果与分析
    4.4 本章小结
5 总结与展望
    5.1 全文总结
    5.2 展望
致谢
参考文献


【参考文献】：
期刊论文
[1]基于CNN和BiLSTM网络特征融合的文本情感分析[J]. 李洋,董红斌.  计算机应用. 2018(11)



本文编号：3177091