基于深度学习和CTM模型的文本情感分析研究

发布时间：2024-02-27 03:51

　　进入21世纪以来,互联网的蓬勃发展推动了各种电子商务平台的诞生。这些平台上发布的在线评论文本所包含的情感倾向有着特别重要的意义,可以帮助用户商家进行有效决策,而单单依靠人工方式从这些呈爆炸式增长的文本中获取信息十分耗时耗力。因此,如何快速有效的挖掘出海量文本中有价值的情感信息已成为当下的研究热点,在这种背景下,基于主题模型的机器学习和基于神经网络的深度学习技术相继运用到文本情感分析的研究领域,并取得了很大进展。早期研究使用的机器学习方法,大多在主题间相互独立的假设下采用词袋模型来提取词汇特征,忽略了主题之间的相关性,且在特征选择上采用人工设计的特征。近年来,随着深度学习技术的兴起,分布式词表示方法摆脱了传统机器学习中词表示粒度稀疏的问题,取得了不错的效果,但该方法中词向量表示是固定的,存在一词多义问题无法很好解决。而改进的预训练语言模型采用多组向量表示的形式,能很好的解决一词多义问题,但在模型设计中对于主题本身的意义和相关性这个先验信息没有加以考虑。在句子表示方面,有研究采用组合矢量模型的表示方法,但存在不能很好捕获句子位置信息的缺陷。在抽取句子的情感信息上,有研究利用多层前馈神经网络...

【文章页数】：64 页

【学位级别】：硕士

【部分图文】：

图２．１?ｐＬＳＡ概率图??

之作，ＬＳＡ模型在词袋中引入了主题的概念，通过奇异值分解的方式??将大规模、高维度的稀疏文本降维到了一个低炜的空间，得到文档的潜在语义，??加快了信息检索，该研宂发现在低维空间中，同义词会被聚类在一起。??２．１．２?ｐＬＳＡ?模型??然而，ＬＳＡ模型并没有建立统计学概念，所以，....

图２．２?ＬＤＡ模型图??

后，它无法生成新的未知文档，而且，随着ｄ和ｗ的增??力口，该模型的计算复杂度也线性增加。??于是，针对这种问题，在２００３年，Ｂｌｅｉ等人提出了?ＬＤＡ模型，模型图如图??２．２所示，可以看到，ＬＤＡ己经从ｐＬＳＡ的两层贝叶斯模型变成了三层，下图中，??ａ、＃分别为文档－主题、主....

图２．３?ＣＴＭ模型图??和ＬＤＡ中从狄利克雷分布中采样生成文档的主题多项式分布不同，在ＣＴＭ??

？硕士学位论文??ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ??（３）从主题分布０中采样生成文档ｄ的第Ｊ＇个词分布２。??（４）从词分布０中米样生成词ｗ。??对于ＬＤＡ的求解，主要是需要估计其主题分布０和词分布心首先，对文档??的每个词随机给一个编号；然后，遍历预料，对于每个词，使用吉布斯采....

图２．４?ＮＮＬＭ模型图

？硕士学位论文??ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ??２．?２预训练词向置理论??词向量作为自然语言处理中词的一种表示方法，经历了从统计方法到语言模??型方法的过渡，本小节主要介绍使用语言模型得到的词向量表示。??所谓语言模型，就是指找出一个概率分布ｆ，而对于给定的长为ｍ的序列，?....

本文编号：3912329