结合注意力机制与双向GRU的文本分类方法研究

发布时间：2021-01-01 03:14

　　文本分类一直是自然语言处理的重要部分。文本分类方法主要是从文本中提取文本特征并根据文本特征进行分类。然而,特征提取一直是文本分类的难点。很多基于统计学的文本分类方法实际上是此匹配法。这种方法不仅耗时耗力,还需要预设文本特征,而这非常高的专业能力。因此,传统文本分类一直是高消耗低精度的方式。近几年随着深度学习的快速发展,深度学习方法已经被大量应用于文本特征的提取,并被证明能够有效的提取文本特征。在深度学习文本分类方法中,文本特征由分类网络学习,因此,分类网络的选择直接影响分类结果。分类网络想要更好的学习文本特征时也需要消耗大量时间进行训练。为了解决这些问题,本文提出了一种带注意力机制的残差双向GRU的分类方法对文本的特征进行学习从而提高对文本情感分类的准确性和效率。本文主要研究内容如下:1.提出了结合注意力机制与双向GRU的文本分类方法,并通过实验证明了双向GRU在处理长文本时,相对于传统方法,在自动特征选择,时间序列依赖关系方面的高效性和稳定性;2.针对本文提出的方法进行了大量实验,通过对实验结果的分析,证明了空洞卷积提在提取本文特征向量时,能够有效地扩大感受视野,保留更多的上下文信息... 

【文章来源】：湖北工业大学湖北省

【文章页数】：53 页

【学位级别】：硕士

【部分图文】：

三层神经网络

湖北工业大学硕士学位论文4图1.1三层神经网络1.3.2循环神经网络循环神经网络[25]（RecurrentNeuralNetwork，RNN），它是一类具有短期记忆能力的神经网络。在循环神经网络中，神经元可以接收其他神经元的信息，也可以接收自身的信息，形成具有环路的网络结构。循环神经网络的参数学习可以通过随时间反向传播算法来学习，即按照时间的逆序把误差一步步往前传递。图1.2循环神经网络

湖北工业大学硕士学位论文51.4循环神经网络的记忆能力循环神经网络通过使用带自反馈的神经元，使得网络的输出不仅和当前的输入有关，还和上一时刻的输出相关，于是在处理任意长度的时序数据时，就具有短期记忆能力。给定一个输入序列，循环神经网络通过以下的公式来更新带反馈边的隐含层的活性值th：1(,)ttthfhx（1-1）其中0h=0，f()是一个非线性函数，隐藏层的活性值th又称为状态或隐状态。示例如下：图1.3循环神经网络隐藏状态将上图按照时间序列展开如下：

【参考文献】：
期刊论文
[1]基于强化学习的超参数优化方法[J]. 陈森朋,吴佳,陈修云.  小型微型计算机系统. 2020(04)
[2]结合DBSCAN聚类与互信息的图像拼接算法[J]. 张美玉,王洋洋,吴良武,秦绪佳.  小型微型计算机系统. 2020(04)
[3]基于多目标支持向量机的ADHD分类[J]. 杜海鹏,邵立珍,张冬辉.  工程科学学报. 2020(04)
[4]运用最大熵模型和随机森林模型对东北红松分布的模拟[J]. 张劳模,罗鹏,庞丽峰,唐小明.  东北林业大学学报. 2020(03)
[5]深度神经网络加速器体系结构概述[J]. 陈怡然,谢源,宋凌皓,陈凡,唐天琪.  Engineering. 2020(03)
[6]基于改进三体训练法的半监督专利文本分类方法[J]. 胡云青,邱清盈,余秀,武建伟.  浙江大学学报(工学版). 2020(02)
[7]Sigmoid函数的低复杂度概率分段线性拟合法[J]. NGUYEN Van-Truong,蔡觉平,魏琳育,褚洁.  西安电子科技大学学报. 2020(03)
[8]基于统计方法从文本中抽取分词词典[J]. 黄超.  电脑知识与技术. 2020(04)
[9]基于词嵌入技术的文本表示研究现状综述[J]. 刘胜杰,许亮.  现代计算机. 2020(01)
[10]基于神经网络语言模型的动态层序Softmax训练算法[J]. 杨鹤标,胡惊涛,刘芳.  江苏大学学报(自然科学版). 2020(01)

硕士论文
[1]基于朴素贝叶斯的文本分类算法研究[D]. 何伟.南京邮电大学 2018
[2]融合多元信息的字符串近似匹配算法研究及应用[D]. 牛增贤.北京交通大学 2019
[3]结合语义保护和关联挖掘的跨模态哈希检索算法研究[D]. 胡志锴.华侨大学 2019
[4]基于词嵌入的文本摘要系统的设计与实现[D]. 完颜丹丹.海南大学 2017
[5]基于长短型记忆递归神经网络的英文手写识别[D]. 卫晓欣.华南理工大学 2014



本文编号：2950844