基于标签嵌入和自交互注意力的文本分类算法研究及其应用

发布时间：2023-03-04 13:54

　　在如今的互联网时代,互联网产生的文本数据呈爆发式增长,面对大量的文本数据,如何快速地组织和分类这些文本数据并挖掘其背后的价值具有重要的意义。在此背景下,文本分类技术应运而生,文本分类方法通过理解文本的语义并概况出文本的主题内容,进而将文本归类到其所属的类别中,能够帮助用户快速准确的找到所需的信息。目前的文本分类方法大多是基于神经网络的方法,例如CNN、RNN和LSTM,虽然取得了很好的文本分类效果,但仍然面临着很多挑战,在预训练的词嵌入表示方面,如何从海量的文本数据中训练出蕴含更全面语义的词嵌入表示是非常重要的,高效的词嵌入方法一直是自然语言处理领域所需要的。在文本表示方面,当前的文本表示方法往往只考虑了前面的上下文,忽略了后面的上下文和整段文本的交互表示,导致部分的语义丢失。在文本特征提取方面,标签在最后的文本分类中起着核心作用,但标签在文本分类中的作用并没有被充分利用。在此背景下,针对上述问题,本文主要做了三个方面的工作:(1)提出了基于双向长短期记忆网络和标签嵌入的文本分类算法针对上面文本分类面临的三个挑战,提出了改进的基于双向长短期记忆网络和标签嵌入的文本分类算法,首先使用预训...

【文章页数】：61 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 研究背景和研究意义
    1.2 研究现状及分析
        1.2.1 国内外研究现状
        1.2.2 文本分类方法
    1.3 研究内容
    1.4 论文组织结构
    1.5 本章小结
第二章 相关理论
    2.1 预训练模型
    2.2 注意力机制
    2.3 自交互注意力
    2.4 标签嵌入
    2.5 本章小结
第三章 基于标签嵌入和自交互注意力的文本分类算法研究
    3.1 基于双向长短期记忆网络和标签嵌入的文本分类算法改进
        3.1.1 算法流程
        3.1.2 BiLSTM和注意力机制
        3.1.3 词和标签的联合嵌入学习
        3.1.4 分类学习
    3.2 基于标签嵌入和自交互注意力的文本分类算法改进
        3.2.1 算法流程
        3.2.2 自交互注意力机制
        3.2.3 词和标签的联合嵌入学习
        3.2.4 文本分类任务
    3.3 实验设计与分析
        3.3.1 数据集和基线模型
        3.3.2 试验参数设置
        3.3.3 整体分类结果与分析
        3.3.4 标签嵌入的影响
        3.3.5 不同的预训练模型和每一部分的影响
    3.4 本章小结
第四章 基于标签嵌入和自交互注意力的文本分类系统应用
    4.1 相关技术和理论
        4.1.1 文本数据采集
        4.1.2 系统技术与框架
    4.2 系统设计
        4.2.1 系统概要设计
        4.2.2 系统功能设计
        4.2.3 数据库设计
    4.3 系统实现
        4.3.1 浏览器端实现
        4.3.2 服务端实现
    4.4 系统测试
        4.4.1 测试环境和方法
        4.4.2 测试结果
    4.5 本章小结
第五章 总结与展望
    5.1 全文总结
    5.2 未来工作展望
参考文献
攻读硕士学位期间的主要成果
致谢



本文编号：3754404