基于卷积神经网络的短文本分类关键技术研究
发布时间：2021-10-12 20:11
文本分类是自然语言处理领域的一个重要研究课题,其主要任务是将输入文本自动归类。随着互联网技术的快速发展,如今全世界每时每刻都有数以亿计的文本信息在互联网中产生,其中主要以一般不超过160个字符的社交媒体博文、论坛回帖、网络问答和商品评论等短文本为主。如何高效准确的对海量短文本信息自动化分类已成为当前一个非常具有挑战性的任务,受到了研究人员的广泛关注。近些年来,基于深度学习（尤其是卷积神经网络）的短文本分类关键技术研究取得了长足的进展和爆发式的突破,但以下问题仍然存在:（1）传统文本特征表示方法受数据集大小及文本长度影响较大,容易造成维度爆炸、特征冗余或特征稀疏等问题,现有的单语义词向量方法没有考虑词的多义性,多语义词向量方法在计算时没能有效利用语境中词序、句法结构、词间距等信息对词的语义表达的影响;（2）短文本的长度普遍较短、提供的语义信息有限,因而现有的卷积神经网络模型对短文本抽象特征的抽取不充分,如何对卷积神经网络的结构进行改进,使其更适合处理短文本数据仍是一个亟待解决的问题;（3）整流线性单元（Rectified Linear Unit,ReLU）具有容易发生偏移（bias sh...
【文章来源】：战略支援部队信息工程大学河南省
【文章页数】：93 页
【学位级别】：硕士
【部分图文】：
词向量的使用方法示意图
战略支援部队信息工程大学硕士学位论文第10页1.4.3面向短文本分类的CNN模型面向短文本分类任务的卷积神经网络的核心在于卷积和时序最大池化（Max-over-timePooling）操作。标准卷积神经网络主要由卷积层、池化层、全连接层和Softmax输出层组成。图3所示为一个面向短文本分类的具有单通道卷积核的标准卷积神经网络。该网络有两个窗口尺寸分别为2和3的单通道卷积核。输入是具有两个通道的词向量矩阵。这里卷积核的维度和词向量的维度相等，窗口尺寸代表每个卷积核每次可以卷积多少个单词的词向量（也可看作是对N-gram特征的抽取）。时序最大池化是对每个卷积核生成的特征图进行最大池化操作。图3中的卷积神经网络的卷积核是单通道的，也就是说卷积核需要分别到两个通道上的词向量矩阵进行卷积。图3面向短文本分类的标准卷积神经网络结构1.4.4性能评价指标文本分类常使用准确率或错误率作为分类器的性能评价指标。准确率和错误率的定义如下：1Acc11niinniiiiTPTF(1-4)
战略支援部队信息工程大学硕士学位论文第12页对数转换对ReLU输入大于0的部分进行改进。NLReLU可以在不同的网络上进行微调、将每个隐藏层的激活均值推至接近0并减少方差、缩小了大多数梯度并使梯度难以进入饱和区域。NLReLU具有降低层间数据分布的偏移效应和异方差异性、一定程度上缓解神经元容易死亡问题和梯度消失问题等优点。实验表明，该方法可提高模型的收敛性能、加速学习进程并且能够对基于标准CNN和AGCNN的短文本分类准确率有所改善，例如在CNN-static上换用NLReLU带来平均0.15%，最高0.29%的改善；在AGCNN-static上换用NLReLU带来平均0.17%，最高0.68%的改善。（4）最后，提出一种基于特征图共享和全连接层权重共享来改善卷积神经网络的优化方法。针对当前优化方法容易增加模型参数，增加模型计算复杂度并使模型难以训练，抗噪声能力差及生物激活解释比较勉强等问题，本文提出一种通过特征图共享及全连接层权重共享，来降低特征图噪声和改善卷积神经网络收敛性能的优化方法——N折叠加法。该方法没有显著增加网络参数。本文通过费马引理及多元函数的极值判定等定理证明了N折叠加法可以通过构建更多损失函数的全局极小值点，使模型更容易收敛并提高网络性能。实验表明，该方法可显著降低FM噪声、加快模型收敛速度，对基于标准CNN的短文本分类准确率有平均0.27%~0.40%、最高0.63%~0.76%的改善。论文的研究思路以及对应的组织结构如图4所示。图4论文的研究思路和组织结构图1.5.2论文组织结构第一章首先介绍了研究的背景及意义。从文本表示方法、模型构建和模型优化方法三
【参考文献】：
期刊论文
[1]移动环境下网络舆情研究进展及述评[J]. 魏静,刘莉,林萍,宋瑞晓. 情报杂志. 2018(09)
[2]情报分析模型综述[J]. 徐敏,李广建. 情报理论与实践. 2018(02)
[3]文本情绪分析综述[J]. 李然,林政,林海伦,王伟平,孟丹. 计算机研究与发展. 2018(01)
[4]虚假评论检测研究综述[J]. 李璐旸,秦兵,刘挺. 计算机学报. 2018(04)
[5]语义分析在反恐研究领域的应用研究[J]. 孟玺,周西平,吴绍忠. 情报杂志. 2017(03)
[6]文本主题识别关键技术研究综述[J]. 许海云,董坤,刘春江,王超,王振蒙. 情报科学. 2017(01)
[7]图像理解中的卷积神经网络[J]. 常亮,邓小明,周明全,武仲科,袁野,杨硕,王宏安. 自动化学报. 2016(09)
[8]基于文档频率的特征选择方法[J]. 杨凯峰,张毅坤,李燕. 计算机工程. 2010(17)
[9]基于机器学习的文本分类方法综述[J]. 陈祎荻,秦玉平. 渤海大学学报(自然科学版). 2010(02)
[10]基于互信息的文本特征选择方法研究与改进[J]. 刘健,张维明. 计算机工程与应用. 2008(10)
硕士论文
[1]我国网络反恐的现状与改进策略研究[D]. 夏菁.南昌大学 2017
本文编号：3433227
【文章来源】：战略支援部队信息工程大学河南省
【文章页数】：93 页
【学位级别】：硕士
【部分图文】：
词向量的使用方法示意图
战略支援部队信息工程大学硕士学位论文第10页1.4.3面向短文本分类的CNN模型面向短文本分类任务的卷积神经网络的核心在于卷积和时序最大池化（Max-over-timePooling）操作。标准卷积神经网络主要由卷积层、池化层、全连接层和Softmax输出层组成。图3所示为一个面向短文本分类的具有单通道卷积核的标准卷积神经网络。该网络有两个窗口尺寸分别为2和3的单通道卷积核。输入是具有两个通道的词向量矩阵。这里卷积核的维度和词向量的维度相等，窗口尺寸代表每个卷积核每次可以卷积多少个单词的词向量（也可看作是对N-gram特征的抽取）。时序最大池化是对每个卷积核生成的特征图进行最大池化操作。图3中的卷积神经网络的卷积核是单通道的，也就是说卷积核需要分别到两个通道上的词向量矩阵进行卷积。图3面向短文本分类的标准卷积神经网络结构1.4.4性能评价指标文本分类常使用准确率或错误率作为分类器的性能评价指标。准确率和错误率的定义如下：1Acc11niinniiiiTPTF(1-4)
战略支援部队信息工程大学硕士学位论文第12页对数转换对ReLU输入大于0的部分进行改进。NLReLU可以在不同的网络上进行微调、将每个隐藏层的激活均值推至接近0并减少方差、缩小了大多数梯度并使梯度难以进入饱和区域。NLReLU具有降低层间数据分布的偏移效应和异方差异性、一定程度上缓解神经元容易死亡问题和梯度消失问题等优点。实验表明，该方法可提高模型的收敛性能、加速学习进程并且能够对基于标准CNN和AGCNN的短文本分类准确率有所改善，例如在CNN-static上换用NLReLU带来平均0.15%，最高0.29%的改善；在AGCNN-static上换用NLReLU带来平均0.17%，最高0.68%的改善。（4）最后，提出一种基于特征图共享和全连接层权重共享来改善卷积神经网络的优化方法。针对当前优化方法容易增加模型参数，增加模型计算复杂度并使模型难以训练，抗噪声能力差及生物激活解释比较勉强等问题，本文提出一种通过特征图共享及全连接层权重共享，来降低特征图噪声和改善卷积神经网络收敛性能的优化方法——N折叠加法。该方法没有显著增加网络参数。本文通过费马引理及多元函数的极值判定等定理证明了N折叠加法可以通过构建更多损失函数的全局极小值点，使模型更容易收敛并提高网络性能。实验表明，该方法可显著降低FM噪声、加快模型收敛速度，对基于标准CNN的短文本分类准确率有平均0.27%~0.40%、最高0.63%~0.76%的改善。论文的研究思路以及对应的组织结构如图4所示。图4论文的研究思路和组织结构图1.5.2论文组织结构第一章首先介绍了研究的背景及意义。从文本表示方法、模型构建和模型优化方法三
【参考文献】：
期刊论文
[1]移动环境下网络舆情研究进展及述评[J]. 魏静,刘莉,林萍,宋瑞晓. 情报杂志. 2018(09)
[2]情报分析模型综述[J]. 徐敏,李广建. 情报理论与实践. 2018(02)
[3]文本情绪分析综述[J]. 李然,林政,林海伦,王伟平,孟丹. 计算机研究与发展. 2018(01)
[4]虚假评论检测研究综述[J]. 李璐旸,秦兵,刘挺. 计算机学报. 2018(04)
[5]语义分析在反恐研究领域的应用研究[J]. 孟玺,周西平,吴绍忠. 情报杂志. 2017(03)
[6]文本主题识别关键技术研究综述[J]. 许海云,董坤,刘春江,王超,王振蒙. 情报科学. 2017(01)
[7]图像理解中的卷积神经网络[J]. 常亮,邓小明,周明全,武仲科,袁野,杨硕,王宏安. 自动化学报. 2016(09)
[8]基于文档频率的特征选择方法[J]. 杨凯峰,张毅坤,李燕. 计算机工程. 2010(17)
[9]基于机器学习的文本分类方法综述[J]. 陈祎荻,秦玉平. 渤海大学学报(自然科学版). 2010(02)
[10]基于互信息的文本特征选择方法研究与改进[J]. 刘健,张维明. 计算机工程与应用. 2008(10)
硕士论文
[1]我国网络反恐的现状与改进策略研究[D]. 夏菁.南昌大学 2017
本文编号：3433227
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3433227.html
最近更新
教材专著
