结合注意力机制的文本分类研究

发布时间：2023-08-11 12:23

　　文本分类技术作为信息处理的关键技术,一直是学术研究的热点问题。随着近年来人们对深度学习研究的深入,在自然语言处理中也逐渐使用了深度学习方法,其也被证明具有高级文本表示的能力。经典的卷积神经网络文本分类模型忽略了文本的顺序信息,本文提出了一种结合注意力机制的文本分类模型,该模型能够弥补传统分类模型的缺点,使模型具备提取顺序特征的能力。并且引入了注意力机制优化文本特征,取得了更优秀的文本分类性能。本文的主要研究工作如下:(1)传统基于卷积神经网络的文本分类模型由于卷积结构本身的特性,只提取了文本的局部信息,却忽略了文本的序列特征。本文设计并实现了结合注意力机制的文本分类模型ACRNN。在原有的卷积神经网络文本分类模型的基础上,对文本的特征提取模块进行了调整,将卷积神经网络和循环神经网络有机地结合在了一起,提取了更加全面的文本特征。在模型输入阶段使用了双通道输入设计,能够充分利用外部知识和本地知识,获得更加丰富的文本表示。为了突显不同词语的区分化作用,本文还将注意力机制引入模型中,赋予了更加优化的文本特征表示。(2)在训练ACRNN模型的时候发现该模型训练速度较慢,本文分析了模型训练速度过慢...

【文章页数】：58 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
1 绪论
    1.1 研究背景和意义
    1.2 国内外研究现状
    1.3 主要研究内容
    1.4 论文的组织结构
2 相关技术综述
    2.1 文本分类概述
        2.1.1 文本预处理
        2.1.2 文本表示模型
        2.1.3 特征选择指标
        2.1.4 文本分类算法
    2.2 深度学习
        2.2.1 深度学习概述
        2.2.2 深度学习在文本分类的应用
    2.3 本章小结
3 结合注意力机制的文本分类模型
    3.1 引言
    3.2 注意力机制
    3.3 结合注意力机制的文本分类模型ACRNN
        3.3.1 双通道输入层
        3.3.2 改进的特征提取模块
        3.3.3 注意力机制特征优化
        3.3.4 正则化
        3.3.5 输出层
    3.4 结合加权特征的注意力改进算法
    3.5 本章小结
4 ACRNN模型及改进算法对比实验
    4.1 实验设计
        4.1.1 实验环境
        4.1.2 评价指标
        4.1.3 实验数据集
        4.1.4 实验参数设置
    4.2 不同文本分类模型性能对比
    4.3 不同参数对于模型性能的影响
    4.4 词向量维度对于模型性能的影响
    4.5 改进注意力机制算法对于模型性能的影响
    4.6 注意力机制可视化
    4.7 本章小结
5 总结和展望
    5.1 本文总结
    5.2 未来展望
参考文献
致谢
附录1 攻读硕士学位期间参与的项目和发表的论文



本文编号：3841313