基于深度学习的中文长文本分类算法的研究与实现

发布时间：2021-09-13 18:34

　　文本分类是自然语言处理领域最基础、最常见的任务之一,也是很多其他任务的前置模块。通过文本分类可以将有价值的部分粗略的筛选出来,摒弃掉其他的部分,得到较为可用的数据。研究文本分类任务已经有很悠久的历史,随着时代的发展,人们对于文本分类的精度和速度要求越来越高,深度学习的方法开始成为研究的热点。针对中文长文本分类问题,本文改进了一种循环神经网络结合卷积神经网络的文本分类模型。首先迁移了栅格长短期记忆系统（Lattice-LSTM）代替了传统的长短期记忆系统做文本的浅层编码。由于长短期记忆系统的性能对于长时序序列建模较为孱弱,本文在模型中加入了词汇级的自注意力机制,改变了不同时刻的输出在文本分类中的贡献。然后使用一种多尺寸多膨胀率卷积核的卷积神经网络模型（Multi-size And Multi-expansion-rate Kernel Convolutional Neural Network,MMK-CNN）进行特征提取,将得到的特征图通过全连接网络和SoftMax网络,进行最终的文本分类结果。作者完成的主要工作有:（1）调研并介绍了文本分类和深度学习的相关知识（2）迁移Lattice-... 

【文章来源】：中国科学院大学(中国科学院大学人工智能学院)北京市

【文章页数】：74 页

【学位级别】：硕士

【部分图文】：

图２．３?Ｌｅｎｅｔ５神经网络结构示意图??Ｆｉｕｒｅ?２．３?Ｌｅｎｅｔ５?ｎｅｕｒａｌ?ｎｅｔｗｏｒｋ?ｓｔｒｕｃｔｕｒｅ?ｄｉａｒａｍ??

图２．４循环神经网络时序展开图??

图２．７多层注意力机制模型结构示意图??Ｆｉｇｕｒｅ?２．７?Ｓｃｈｅｍａｔｉｃ?ｄｉａｇｒａｍ?ｏｆ?Ｍｕｌｔｉｌｉｎｇｕａｌ?Ｈｉｅｒａｒｃｈｉｃａｌ?Ａ?

【参考文献】：
期刊论文
[1]文本分类研究综述[J]. 汪岿,刘柏嵩.  数据通信. 2019(03)
[2]基于注意力CNLSTM模型的新闻文本分类[J]. 刘月,翟东海,任庆宁.  计算机工程. 2019(07)
[3]词向量发展综述[J]. 严红.  现代计算机(专业版). 2019(08)
[4]改进朴素贝叶斯算法在文本分类中的应用[J]. 黄勇,罗文辉,张瑞舒.  科技创新与应用. 2019(05)
[5]基于Lattice-LSTM的多粒度中文分词[J]. 张文静,张惠蒙,杨麟儿,荀恩东.  中文信息学报. 2019(01)
[6]基于朴素贝叶斯的档案分类研究[J]. 刘佩鑫,于洪志,徐涛.  河北大学学报(自然科学版). 2018(05)
[7]AM-BRNN:一种基于深度学习的文本摘要自动抽取模型[J]. 沈华东,彭敦陆.  小型微型计算机系统. 2018(06)
[8]基于注意力长短时记忆网络的中文词性标注模型[J]. 司念文,王衡军,李伟,单义栋,谢鹏程.  计算机科学. 2018(04)
[9]结合注意力机制的新闻标题生成模型[J]. 李慧,陈红倩,马丽仪,祁梅.  山西大学学报(自然科学版). 2017(04)
[10]深度学习中汉语字向量和词向量结合方式探究[J]. 李伟康,李炜,吴云芳.  中文信息学报. 2017(06)

硕士论文
[1]基于机器学习的中文文本分类算法的研究与实现[D]. 朱梦.北京邮电大学 2019
[2]基于深度神经网络的文本表示与分类研究[D]. 刘腾飞.北京交通大学 2018
[3]基于语义的文本向量表示方法研究[D]. 芮伟康.中国科学技术大学 2017
[4]距离度量学习中的类别不平衡问题研究[D]. 刘江涛.东南大学 2016
[5]基于循环神经网络模型的文本分类[D]. 龚千健.华中科技大学 2016
[6]基于密度聚类改进的支持向量机文本分类的算法研究[D]. 刘志康.武汉理工大学 2016



本文编号：3395134