基于深度学习的文本情绪分析研究

发布时间：2020-03-29 09:05

【摘要】：本文从自然语言处理的宏观角度介绍文本分析的相关技术步骤与理论基础的全面解析中探讨寻找出一种基于自注意力机制的双向双层长短期记忆算法,理论上可以有效学习文本情绪分析对于样本数据集和标签集向前、向后的时序处理依赖和对于样本数据集内部的远程依赖。并使用Tensorflow的GPU版本对此算法在IMDB情绪分析数据集上的表现进行实验分析。本文先介绍了从非结构化文本到结构化文本的词向量化原理和流程,分析词嵌入的相关理论基础、技术基础,并介绍浅层分析算法的主要分类和原理。阐述了分类算法、回归算法和聚类算法的典型算法思想,基于浅层学习中的经典线性模式和线性回归模式原理及思想,阐述了多层神经网络的一般结构和处理层次以及误差逆向传播算法的详细过程。再基于此提出了自注意力机制的双向长短期记忆算法框架,然后从双向长短期记忆算法的演变和迭代步骤方面剖析长短期记忆算法对于文本情绪分析任务学习序列问题的有效性,从误差逆传播算法了解到双向长短期记忆算法在反向传播过程中存在的远程依赖问题,并提出自注意力模型可以帮助解决此问题从而回答了为何要针对文本分析任务提出此算法框架的原因。最后,本文基于此种算法框架使用Keras深度学习开源库和Tensorflow开源库进行实验平台的搭建,在给定其他因子不变的条件下,电影评论数据集IMDB上取得了比单纯的自注意力机制模型、单向长短期记忆、双向长短期记忆模型更为良好的效果。并延展了其他因子对此算法的性能影响。
【图文】：

概率图,局部节点

图 2-3 分词概率图图 2-3 中的箭头以及箭头上的加权指的是基于标准语料库得到的分词词语的条件概率，譬如。此时维特比算法就是利用动态规划的思想找到最短路径。假设某个局部节点是在任意一个在 End 之前的节点，是到达该节点可能的最大概率，节点位置是到达这个局部节点满足可能的最大概率的前一个节点。那么初始化为：局部节点“花”只有一个前节点：局部节点“吃”有多个前节点，，这些前节点可以通过不同的路径到达“吃”，满足最大概率的路径是：

线性模型,回归模型

华中科技大学硕士学位论文望学习出一种回归模型，使得 f (x)与 y尽量地接近，如图 2-4 所示。么线性模型可解释如公式（2.11）所示。1 1 2 2( )m mf x w x w x w x b （量形式如公式（2.12）所示。f ( x )y w x b （中有：1 2( ; ; ; )mw w w w , w 和 b 是待确定的模型参数，其最优解的闭式.13）所示。性回归模型以线性模型为基础，试图学习出一种与已知输入大量样本信并且在未来的输入小量样本数据中预测连续变量表现良好的模型。在
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.1;TP18

【参考文献】