基于深度特征提取的句子分类模型研究

发布时间：2021-09-19 04:05

　　随着互联网的蓬勃发展,海量的文本信息正在不断涌现,这些信息在新闻资讯、电子商务、舆情监测等场景具有重要的价值。分类是对文本信息有效利用并解决上述实际场景需求的重要技术手段,而这些文本信息作为分类对象往往以单个语句或若干个词语拼接成的短句的形式出现,因此构建一个具有良好性能的句子分类模型是尤为关键的。句子分类的研究具有重要的应用价值。由于句子普遍具有长度短、新词多、重复成分少等特点,基于统计学习思想的句子分类方法往往需要耗费大量精力针对具体分类任务中句子的特点进行特征提取和选择,同时对于新的分类场景,需要重新构建特征,普适性较差。这些缺点在一定程度上限制了此类方法在句子分类问题中的应用。深度学习在自然语言处理领域的应用推动了句子分类问题的研究,近年来的研究表明,卷积神经网络能够通过词向量有效地应用在句子分类问题中。用于句子分类的卷积神经网络虽然能够提取句子中的局部特征,但忽视了在具体分类任务下,句子中不同的词语对分类结果的重要性有所不同,同时不同部分的词语间往往存在关联信息,此外,每个词对应的词向量表示受限于单一词向量训练方法,以上方面均影响最终提取的用于分类的句子特征。本文针对上述存在... 

【文章来源】：吉林大学吉林省 211工程院校 985工程院校 教育部直属院校

【文章页数】：72 页

【学位级别】：硕士

【部分图文】：

神经网络语言模型整体结构

图 2.2 word2vec 两种模型基本结构ontext(w)中的 2c 个词对应的词向量，令词向量的维数为 m，则每个词向量可为( ( ) ) ,1 2mtv Context w R t c。第二层是投影层，将输入层中的词向量进行累加得到：

图 2.3 基于层次 Softmax 的 CBOW 模型整体结构,..., {0,1}wwld 表示词 w 的 1wl 位哈夫曼编码，其中wjd 为路的编码(根节点不对应编码)。,...,w m R 表示路径wp 中非叶节点对应的向量，其中w 为


本文编号：3400977