基于神经网络和自注意力机制的文本表示与分类研究

发布时间：2024-05-14 23:22

　　在互联网时代,信息的爆炸性增长,促使人们越来越重视海量文本数据的潜在价值。利用或改良现有的人工智能技术,进而从海量文本数据中挖掘潜藏的信息,是当前自然语言处理领域的研究重点和难点。文本分类研究涉及自然文本内容理解和模式分类等若干问题,训练性能卓越的文本表示方法是实现文本分类任务的前提。从独热编码到分布式表示,再到神经网络预训练语言模型,文本表示方法获得了长足的发展,为大量实际自然语言处理任务奠定了坚实的基础。但是,以循环神经网络RNN(Recurrent Neural Network)为核心的文本表示模型通常是一种有偏模型,其捕获的语义信息不平衡,并且不能并行计算;以卷积神经网络CNN(Convolution Neural Network)为核心的文本表示模型虽可并行计算,但却不能捕获单词间的长距离依赖关系;近期热门的神经网络预训练语言模型不仅考虑文章整体上下文环境,而且可以解决当前文本表示模型特征抽取能力不强、无法学习大量无监督数据中包含的语言学知识等问题,如Google提出的BERT模型。但预训练语言模型同样存在参数量太大,预训练耗时较长等问题。因此,为了更好的完成文本分类任务,本...

【文章页数】：82 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第1章 引言
    1.1 研究背景及意义
    1.2 国内外研究现状
    1.3 本文主要研究内容
    1.4 组织结构
    1.5 本章小结
第2章 相关理论与技术
    2.1 文本表示与分类概述
        2.1.1 文本预处理
        2.1.2 评估方法
        2.1.3 评估指标
    2.2 文本表示方法
        2.2.1 向量空间模型(VSM)
        2.2.2 潜在语义索引(LSI)
        2.2.3 Word2vec模型
        2.2.4 GloVe模型
    2.3 文本分类算法
    2.4 神经网络
        2.4.1 卷积神经网络(CNN)
        2.4.2 自注意力网络(SAN)
        2.4.3 Transformer模型
    2.5 本章小结
第3章 基于融合特征和多通道CNN的文本表示与分类模型
    3.1 CT_Word2vec文本表示模型
    3.2 LTCW_CNN文本表示与分类模型
        3.2.1 LTCW文本表示模型
        3.2.2 LTCW_CNN模型
    3.3 实验数据集和相关参数设置
        3.3.1 实验数据集
        3.3.2 相关参数设置
    3.4 实验结果与分析
        3.4.1 表示模型选择
        3.4.2 LTCW融合特征表示模型
        3.4.3 LTCW_CNN文本表示与分类模型
    3.5 本章小结
第4章 基于BERT的改进文本表示与分类模型
    4.1 BERT模型
        4.1.1 BERT的输入表征
        4.1.2 BERT的预训练任务
        4.1.3 BERT的微调方法
    4.2 Pre BERT模型介绍
        4.2.1 基于Co MASK方法的连续遮蔽语言模型(CMLM)
        4.2.2 上下句预测预训练任务(ANSP)
    4.3 Pre BERT模型实现
    4.4 实验结果与分析
        4.4.1 CoMASK方法遮蔽词比例分析
        4.4.2 ANSP任务的预训练情况分析
        4.4.3 PreBERT文本表示与分类模型
    4.5 本章小结
第5章 基于自注意力机制的文本表示与分类模型
    5.1 基于改进SAN的文本表示与分类模型
        5.1.1 基于相对位置嵌入的多头自注意力机制
        5.1.2 PMSAN文本表示与分类模型
    5.2 实验数据集和相关参数设置
        5.2.1 实验数据集
        5.2.2 模型参数设置
    5.3 实验结果与分析
        5.3.1 不同参数对模型的影响
        5.3.2 PMSAN模型和其他模型的对比结果
        5.3.3 PMSAN模型的效率验证
        5.3.4 不同位置嵌入对模型的影响
    5.4 本章小结
第6章 总结及展望
    6.1 总结
    6.2 展望
参考文献
致谢
攻读硕士期间发表论文及科研工作



本文编号：3973563