基于注意力和残差连接的BiLSTM-CNN文本分类

发布时间：2024-06-29 00:09

　　互联网和移动互联网应用的快速发展带来了文本数据的爆炸式增长,使用人工方式分类和整理文本已经成为了不可能。如何在海量的文本数据中实现对文本的快速分类并应用于后续的文章推荐、语义分析、信息检索、信息抽取和机器翻译一直是业界研究的热点。随着深度学习技术的不断发展,越来越多的学者将深度学习技术应用到自然语言领域中,也取得了非常不错的效果。但是,现有的算法往往无法准确的表达文本信息以及在深层网络时会出现网络退化问题。本文在分析已有文本分类算法基础上,主要研究工作如下:本文针对在文本分类中使用高维度的文本词向量在训练中难以收敛。对预处理后的文本语料使用word2vec算法进行预训练。将得到的向量化文本数据作为整个分类模型的输入,避免了出现维度灾难,也加快了模型的收敛。本文针对基于深度学习技术的文本分类算法中卷积神经网络(CNN)无法获取文本全局特征、双向循环神经网络(BiLSTM)无法聚焦文本局部特征的问题,本文将CNN与BiLSTM进行结合,在提取文本特征信息时,既可以通过CNN网络提取文本局部特征,又可以通过BiLSTM网络提取文本全局特征,解决了文本分类中特征提取问题。本文针对文本中不同单词...

【文章页数】：68 页

【学位级别】：硕士

【部分图文】：

图2-1文本分类一般流程

图2-1文本分类一般流程-1Textclassificationgeneralp用中，由于文本信息的非包括非法字符去除、特殊处理后的文本信息转换成向量化后的文本矩阵和文续训练和学习。型在测试文本数据集的表化，需要对用于实验的语预处理方法，主要包括非

图2-2决策树实例Fig.2-2Decisiontreeinstance

第二章预处理和相关理论基础算法等。然后，将该样本对所用的样本进行相似度计算，找到计算结果最。最后，这K个文本数据通过等权投票的方法来决定该文本的类别。由上述可知，使用KNN算法对文本分类的核心是计算文本之间的相似度和设置。因此，KNN算法不适合样本量过大的情形，并且在....

图2-3支持向量机Fig.2-3SupportVectorMachines

1()1()ikiginiDD1212(,)()()DDginiDAginiDginiDDD向量机算法理二分类问题的支持向量机（SVM）算法[48]，在分类问题上是在样本空间中找到一个分隔最大的分类超平面，通过分类。后来的学者在....

图2-4非监督的深度学习模型结构

训练的样本数据是没有进行标注的。其结构如图2-4所示，常见的如，自编码机和玻尔兹曼机等。图2-4非监督的深度学习模型结构Fig.2-4Unsuperviseddeeplearningmodelstructure在监督的深度学习模型中，使用低层次的网络来构造更高层次....

本文编号：3996868