基于深度学习的短文本分类算法研究及应用
发布时间：2021-07-15 10:42
随着移动互联网技术的快速发展,短文本信息呈现出爆发式增长趋势,对短文本分类的研究也越发的深入。同时,短文本信息的增长导致不断出现新领域数据,存在传统机器学习算法无法及时对新领域数据建模分类的问题;短文本信息多样化的发展导致传统的单标签分类已经不能满足现有的多标签数据,存在传统机器学习算法无法学习到多标签之间的依存关系的问题。随着深度学习技术在图像处理、语音识别、对话生成等领域取得了优异的成果,深度学习模型展现出其层次化特征提取方面的优势。本文对短文本数据进行挖掘与分析,在研究深度学习模型卷积神经网络和长短时记忆网络原理的基础上,利用深度学习技术对目前短文本分类存在的问题进行研究并应用。本文的主要研究内容如下:（1）针对传统机器学习算法无法及时对新领域数据建模分类的问题,本文提出基于深度迁移学习的短文本单标签分类方法。利用深层卷积神经网络与实验提取相似领域与目标领域的通用特征,并迁移到目标领域中训练分类器,解决新领域数据标注不足而无法训练分类器的问题,同时提高模型的泛化能力。（2）针对传统机器学习算法无法学习到多标签之间依存关系的问题,本文提出基于序列生成模型的短文本多标签分类方法。所提...
【文章来源】：浙江工业大学浙江省
【文章页数】：66 页
【学位级别】：硕士
【部分图文】：
SVM算法示意图
基于深度学习的短文本分类算法研究及应用 需对局部数据具有的各种特征给予充分关注即可，而后汇总所有局部信息。所以每个隐藏层单元只需要和输入数据的某个部分相连即可，模型训练速度得到了非常大的提升。 权值共享这种联系方式的提出是为了让卷积神经网络存在的参数太多的问题得到解决，发生在若干卷积核之间。卷积核被看作是独立的抽象化特征提取方式，且还有与数据位置无关的特征，在应用权值共享策略的时候，在网络联系联系神经元的过程中使用的权值参数矩阵都是相同的，在进行模型训练的时候，计算量可以得到极大程度的缩减。
浙江工业大学硕士学位论文18短期记忆网络（LSTM）是由Hochreiter&Schmidhuber（1997）引入的，是对循环神经网络的一种改进，通过三个门控制巧妙的选择忘记或者更新存储信息，将有用的信息保存，无用的信息遗忘，实现短期记忆与长期记忆的结合，解决了循环神经网络梯度消失的问题。长短期记忆网络在随后的工作中被许多人提炼和推广，它们在处理各种各样的问题上表现出色，现已广泛使用。图2-7分别展示了循环神经网络和长短期记忆网络的结构图。图2-7循环神经网络结构图与长短期记忆网络结构图Figure2-7.Recurrentneuralnetworkstructureandlongshort-termmemorystructure2.2.4注意力机制谷歌机器翻译团队[16]在2017年提出在文本表示的学习中可以使用自注意力机制。因此，近期人们的研究焦点之一就是自注意力机制，在各种自然语言处理任务中都有对自注意力机制的分析与研究。注意力机制最早是应用于视觉图像领域，2014年谷歌mind团队提出了[17]一种基于传统循环神经网络的注意力机制模型，该模型通过注意力机制学习一副图像要处理的部分，当前的状态根据前一个状态学习得到的要关注的位置和当前输入的图像，去处理注意力部分像素，而不是图像的全部像素，减少了任务的复杂度，并在图像分类上取得了很好的性能。随后，Bahdanau把注意力机制用到了神经网络机器翻译（NMT）上，NMT是一个典型的序列到序列模型，即一个编码-解码模型，传统的NMT使用两个循环神经网络，第一个循环神经网络用于编码源语言，并且把源语言编码至某个固定维度的中间向量中；第二个循环神经网络用于目标语言的解码翻译，效果相比传统的NMT提升了不少，最大的特点还在于它可以可视化对齐，在长句的处理上更有优势，他们的工作算是第一个将注意力机制应用到自然语言处理?
【参考文献】：
期刊论文
[1]基于注意力机制与评论文本深度模型的推荐方法[J]. 黄文明,卫万成,张健,邓珍荣. 计算机工程. 2019(09)
[2]基于标签特征和相关性的多标签分类算法[J]. 李锋,杨有龙. 计算机工程与应用. 2019(04)
[3]基于深度自动编码器的多标签分类研究[J]. 聂煜,廖祥文,魏晶晶,杨定达,陈国龙. 广西师范大学学报(自然科学版). 2019(01)
[4]基于Bi-LSTM和CNN并包含注意力机制的社区问答问句分类方法[J]. 史梦飞,杨燕,贺樑,陈成才. 计算机系统应用. 2018(09)
[5]采用词向量注意力机制的双路卷积神经网络句子分类模型[J]. 郭宝震,左万利,王英. 浙江大学学报(工学版). 2018(09)
[6]基于深度学习的文本分类研究进展[J]. 刘婷婷,朱文东,刘广一. 电力信息与通信技术. 2018(03)
[7]基于朴素贝叶斯的文本分类研究综述[J]. 贺鸣,孙建军,成颖. 情报科学. 2016(07)
博士论文
[1]迁移学习在文本分类中的应用研究[D]. 孟佳娜.大连理工大学 2011
硕士论文
[1]基于同异性迁移学习的短文本分类技术研究与应用[D]. 付豪.北京邮电大学 2019
本文编号：3285550
【文章来源】：浙江工业大学浙江省
【文章页数】：66 页
【学位级别】：硕士
【部分图文】：
SVM算法示意图
基于深度学习的短文本分类算法研究及应用 需对局部数据具有的各种特征给予充分关注即可，而后汇总所有局部信息。所以每个隐藏层单元只需要和输入数据的某个部分相连即可，模型训练速度得到了非常大的提升。 权值共享这种联系方式的提出是为了让卷积神经网络存在的参数太多的问题得到解决，发生在若干卷积核之间。卷积核被看作是独立的抽象化特征提取方式，且还有与数据位置无关的特征，在应用权值共享策略的时候，在网络联系联系神经元的过程中使用的权值参数矩阵都是相同的，在进行模型训练的时候，计算量可以得到极大程度的缩减。
浙江工业大学硕士学位论文18短期记忆网络（LSTM）是由Hochreiter&Schmidhuber（1997）引入的，是对循环神经网络的一种改进，通过三个门控制巧妙的选择忘记或者更新存储信息，将有用的信息保存，无用的信息遗忘，实现短期记忆与长期记忆的结合，解决了循环神经网络梯度消失的问题。长短期记忆网络在随后的工作中被许多人提炼和推广，它们在处理各种各样的问题上表现出色，现已广泛使用。图2-7分别展示了循环神经网络和长短期记忆网络的结构图。图2-7循环神经网络结构图与长短期记忆网络结构图Figure2-7.Recurrentneuralnetworkstructureandlongshort-termmemorystructure2.2.4注意力机制谷歌机器翻译团队[16]在2017年提出在文本表示的学习中可以使用自注意力机制。因此，近期人们的研究焦点之一就是自注意力机制，在各种自然语言处理任务中都有对自注意力机制的分析与研究。注意力机制最早是应用于视觉图像领域，2014年谷歌mind团队提出了[17]一种基于传统循环神经网络的注意力机制模型，该模型通过注意力机制学习一副图像要处理的部分，当前的状态根据前一个状态学习得到的要关注的位置和当前输入的图像，去处理注意力部分像素，而不是图像的全部像素，减少了任务的复杂度，并在图像分类上取得了很好的性能。随后，Bahdanau把注意力机制用到了神经网络机器翻译（NMT）上，NMT是一个典型的序列到序列模型，即一个编码-解码模型，传统的NMT使用两个循环神经网络，第一个循环神经网络用于编码源语言，并且把源语言编码至某个固定维度的中间向量中；第二个循环神经网络用于目标语言的解码翻译，效果相比传统的NMT提升了不少，最大的特点还在于它可以可视化对齐，在长句的处理上更有优势，他们的工作算是第一个将注意力机制应用到自然语言处理?
【参考文献】：
期刊论文
[1]基于注意力机制与评论文本深度模型的推荐方法[J]. 黄文明,卫万成,张健,邓珍荣. 计算机工程. 2019(09)
[2]基于标签特征和相关性的多标签分类算法[J]. 李锋,杨有龙. 计算机工程与应用. 2019(04)
[3]基于深度自动编码器的多标签分类研究[J]. 聂煜,廖祥文,魏晶晶,杨定达,陈国龙. 广西师范大学学报(自然科学版). 2019(01)
[4]基于Bi-LSTM和CNN并包含注意力机制的社区问答问句分类方法[J]. 史梦飞,杨燕,贺樑,陈成才. 计算机系统应用. 2018(09)
[5]采用词向量注意力机制的双路卷积神经网络句子分类模型[J]. 郭宝震,左万利,王英. 浙江大学学报(工学版). 2018(09)
[6]基于深度学习的文本分类研究进展[J]. 刘婷婷,朱文东,刘广一. 电力信息与通信技术. 2018(03)
[7]基于朴素贝叶斯的文本分类研究综述[J]. 贺鸣,孙建军,成颖. 情报科学. 2016(07)
博士论文
[1]迁移学习在文本分类中的应用研究[D]. 孟佳娜.大连理工大学 2011
硕士论文
[1]基于同异性迁移学习的短文本分类技术研究与应用[D]. 付豪.北京邮电大学 2019
本文编号：3285550
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3285550.html
最近更新
教材专著
