文本分类中深度学习算法和数据增强的研究
发布时间：2021-11-02 14:27
近年来,人工智能界见证了深度学习算法的崛起。利用网络深度的优势,深度学习在诸多领域都展现了优异的性能,在某些领域更是超越了人类的水平。但随着研究的深入,深度学习也逐渐面临诸多挑战,主要有1):随着深度的不断增加,梯度消失问题在深度学习中逐步凸显,不仅使得深度学习的训练难度陡增,更限制甚至恶化了其性能表现;2)深度学习特别依赖海量数据的支持,然而,为其准备海量数据的过程却异常耗时耗力,致使深度学习普遍面临着数据不足的问题。针对上述两大问题,本文以提高文本分类中深度学习的性能为总目标,分别提出如下三大创新点予以回应:1):针对深度学习中的梯度消失问题,本文通过融合Highway Net和Dense Net这两种深度神经网络架构的方式,提出了称为Highway-DC的新式深度神经网络架构。Highway-DC利用Highway Net中的Highway算法来控制Dense Net中的密集连接（Dense Connection）,从而成功地将这两大架构合二为一。此外,本文进一步提出了一种改进的Highway算法,命名为Highway II,其可以保护每层网络输入与输出彼此的独立性。以此为基础的...
【文章来源】：南京邮电大学江苏省
【文章页数】：84 页
【学位级别】：硕士
【部分图文】：
人工智能在现代社会具有广泛的应用场景就算力而言，自2012年起，随着GPU、FPGA和分布式运算等技术的蓬勃发展，通用计
南京邮电大学硕士研究生学位论文第一章绪论2如图1.2所示，与人脑一样，深度学习所使用的神经网络层数很多，即“深度”很大，因此，深度学习又叫深度神经网络（DeepNeuralNetworks，DNN）。DNN能够在海量数据中由低到高逐级进行特征提取，从而拥有建立复杂映射的能力，有助于处理更复杂的问题[10-11]。因此，近年来深度学习取得了空前的成功，在一些复杂任务上甚至超越了人类的水平[21-23]。例如，在2015年ImageNet挑战赛上，由微软开发的ResNet在图像识别上的错误率已低至4.94%，而人类平均为5.1%，实现了对人类的首次超越[12]；无独有偶，2016年3月，DeepMind公司开发的AlphaGo[13]与韩国围棋手李世石展开人机大战，最后以4比1的总比分获胜。半年后，AlphaGo改名Master，继续与中日韩三国数十位围棋高手进行对决，并取得连胜60局的战绩[14]。最后，2017年5月，AlphaGo再次与世界围棋冠军柯洁对战，以3比0的绝对优势获胜。由此，围棋界公认AlphaGo的棋力已经超过人类的顶尖水平[15]。RestNet和AlphaGo的成功向世人证明了深度学习的强大。图1.2人脑（左）与深度学习模型（右）的可视化效果图作为三大要素之一，数据对于人工智能的发展至关重要，更多的数据往往意味着更好的性能[20]。值得一提的是，相较传统机器学习（MachineLearning，ML），深度学习在处理海量数据上更具优势[9]。图1.3展示了传统机器学习和深度学习在不同数据量下的性能表现。从图1.3可知，随着数据量的不断增加，机器学习的性能首先达到饱和。而深度学习的性能却可不断得以提高，且没有明显减缓的趋势。随着大数据时代的到来，深度学习的这一优势也越来越受到研究人员的重视，并把部署更多数据作为提升其性能的重要途径[36]。例如，Facebook开发的人脸识别
南京邮电大学硕士研究生学位论文第一章绪论3度学习性能的有效途径。图1.3不同数据下机器学习和深度学习性能趋势图图1.4深度学习在不同数据量级下的性能变化[17]虽然大数据时代涌现出海量的数据，但这些数据需要经人工处理后才可使用，事实上开发一个大规模数据集异常耗时耗力[21-22]，一般机构难以拥有像Facebook和Google那样的实力去开发一套大规模数据集。由此，尽管处于大数据时代，适合深度学习使用的数据却并不多[23]。数据量不足仍是深度学习所面临的一大难题，不仅使深度学习容易陷入过拟合状态，而且大大削弱了其性能[24-25]。文本分类是自然语言处理（NaturalLanguageProcessing，NLP）中一个重要且经典的任务[27]。文本分类的主要任务是根据文本的内容，将其归类到预先设定好的一个或多个类别中
【参考文献】：
期刊论文
[1]池化和注意力相结合的新闻文本分类方法[J]. 陶永才,杨朝阳,石磊,卫琳. 小型微型计算机系统. 2019(11)
[2]基于卷积神经网络的图像数据增强算法[J]. 蒋芸,张海,陈莉,陶生鑫. 计算机工程与科学. 2019(11)
[3]一种基于神经网络与LDA的文本分类算法[J]. 牛硕硕,柴小丽,李德启,谢彬. 计算机工程. 2019(10)
[4]基于生成对抗网络的数据增强方法[J]. 张晓峰,吴刚. 计算机系统应用. 2019(10)
[5]用于短文本分类的DC-BiGRUCNN模型[J]. 郑诚,薛满意,洪彤彤,宋飞豹. 计算机科学. 2019(11)
[6]用于图像分类的卷积神经网络中激活函数的设计[J]. 王红霞,周家奇,辜承昊,林泓. 浙江大学学报(工学版). 2019(07)
[7]卷积神经网络CNN算法在文本分类上的应用研究[J]. 侯小培,高迎. 科技与创新. 2019(04)
[8]浅析人工智能技术在维护国家安全方面的应用[J]. 王召伟. 信息系统工程. 2018(12)
[9]大数据时代人工智能技术在农业领域的研究进展[J]. 陈桂芬,李静,陈航,安宇. 吉林农业大学学报. 2018(04)
[10]深度学习研究现状分析[J]. 王菲斐. 电子技术与软件工程. 2018(10)
硕士论文
[1]基于神经网络与注意力机制结合的语音情感识别研究[D]. 卢艳.北京邮电大学 2019
本文编号：3472074
【文章来源】：南京邮电大学江苏省
【文章页数】：84 页
【学位级别】：硕士
【部分图文】：
人工智能在现代社会具有广泛的应用场景就算力而言，自2012年起，随着GPU、FPGA和分布式运算等技术的蓬勃发展，通用计
南京邮电大学硕士研究生学位论文第一章绪论2如图1.2所示，与人脑一样，深度学习所使用的神经网络层数很多，即“深度”很大，因此，深度学习又叫深度神经网络（DeepNeuralNetworks，DNN）。DNN能够在海量数据中由低到高逐级进行特征提取，从而拥有建立复杂映射的能力，有助于处理更复杂的问题[10-11]。因此，近年来深度学习取得了空前的成功，在一些复杂任务上甚至超越了人类的水平[21-23]。例如，在2015年ImageNet挑战赛上，由微软开发的ResNet在图像识别上的错误率已低至4.94%，而人类平均为5.1%，实现了对人类的首次超越[12]；无独有偶，2016年3月，DeepMind公司开发的AlphaGo[13]与韩国围棋手李世石展开人机大战，最后以4比1的总比分获胜。半年后，AlphaGo改名Master，继续与中日韩三国数十位围棋高手进行对决，并取得连胜60局的战绩[14]。最后，2017年5月，AlphaGo再次与世界围棋冠军柯洁对战，以3比0的绝对优势获胜。由此，围棋界公认AlphaGo的棋力已经超过人类的顶尖水平[15]。RestNet和AlphaGo的成功向世人证明了深度学习的强大。图1.2人脑（左）与深度学习模型（右）的可视化效果图作为三大要素之一，数据对于人工智能的发展至关重要，更多的数据往往意味着更好的性能[20]。值得一提的是，相较传统机器学习（MachineLearning，ML），深度学习在处理海量数据上更具优势[9]。图1.3展示了传统机器学习和深度学习在不同数据量下的性能表现。从图1.3可知，随着数据量的不断增加，机器学习的性能首先达到饱和。而深度学习的性能却可不断得以提高，且没有明显减缓的趋势。随着大数据时代的到来，深度学习的这一优势也越来越受到研究人员的重视，并把部署更多数据作为提升其性能的重要途径[36]。例如，Facebook开发的人脸识别
南京邮电大学硕士研究生学位论文第一章绪论3度学习性能的有效途径。图1.3不同数据下机器学习和深度学习性能趋势图图1.4深度学习在不同数据量级下的性能变化[17]虽然大数据时代涌现出海量的数据，但这些数据需要经人工处理后才可使用，事实上开发一个大规模数据集异常耗时耗力[21-22]，一般机构难以拥有像Facebook和Google那样的实力去开发一套大规模数据集。由此，尽管处于大数据时代，适合深度学习使用的数据却并不多[23]。数据量不足仍是深度学习所面临的一大难题，不仅使深度学习容易陷入过拟合状态，而且大大削弱了其性能[24-25]。文本分类是自然语言处理（NaturalLanguageProcessing，NLP）中一个重要且经典的任务[27]。文本分类的主要任务是根据文本的内容，将其归类到预先设定好的一个或多个类别中
【参考文献】：
期刊论文
[1]池化和注意力相结合的新闻文本分类方法[J]. 陶永才,杨朝阳,石磊,卫琳. 小型微型计算机系统. 2019(11)
[2]基于卷积神经网络的图像数据增强算法[J]. 蒋芸,张海,陈莉,陶生鑫. 计算机工程与科学. 2019(11)
[3]一种基于神经网络与LDA的文本分类算法[J]. 牛硕硕,柴小丽,李德启,谢彬. 计算机工程. 2019(10)
[4]基于生成对抗网络的数据增强方法[J]. 张晓峰,吴刚. 计算机系统应用. 2019(10)
[5]用于短文本分类的DC-BiGRUCNN模型[J]. 郑诚,薛满意,洪彤彤,宋飞豹. 计算机科学. 2019(11)
[6]用于图像分类的卷积神经网络中激活函数的设计[J]. 王红霞,周家奇,辜承昊,林泓. 浙江大学学报(工学版). 2019(07)
[7]卷积神经网络CNN算法在文本分类上的应用研究[J]. 侯小培,高迎. 科技与创新. 2019(04)
[8]浅析人工智能技术在维护国家安全方面的应用[J]. 王召伟. 信息系统工程. 2018(12)
[9]大数据时代人工智能技术在农业领域的研究进展[J]. 陈桂芬,李静,陈航,安宇. 吉林农业大学学报. 2018(04)
[10]深度学习研究现状分析[J]. 王菲斐. 电子技术与软件工程. 2018(10)
硕士论文
[1]基于神经网络与注意力机制结合的语音情感识别研究[D]. 卢艳.北京邮电大学 2019
本文编号：3472074
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3472074.html
最近更新
教材专著
