基于集成卷积神经网络的手写体数字识别研究
发布时间：2021-03-24 02:37
手写体数字识别作为模式识别的一个重要分支,它主要研究如何通过计算机智能地识别出不同场景下的阿拉伯数字。目前,手写体数字识别技术被广泛应用于互联网、金融、教育等行业。21世纪以来,伴随着互联网与大数据地快速发展、全球信息化与自动化程度地不断提升,需要对手写体数字进行识别处理的工作越来越多,比如银行核对金融票据、公司核对财务报表、邮政自动分拣以及学校的试卷分数统计,传统的人工处理具有很强的局限性,特别是速度上难以满足相关需求。自动识别的方式不仅可以提高数字识别处理的效率、减少人力的消耗,还能有效地降低人为操作导致的错误率,让相关工作更加自动化、准确化和高效化。本文首先以单个卷积神经网络为基础,对手写体数字识别任务进行研究,提出了一种融合优化算法,并在MNIST数据集和USPS数据集上证明了该算法的可行性,之后结合卷积神经网络和集成学习进行进一步研究,提升识别性能。本文首先对卷积神经网络相关理论进行了介绍,包括人工神经网络、神经元模型、卷积层、下采样层、全连接层、反向传播算法、局部感受野、权值共享、损失函数、激活函数、过拟合、正则化方法、Dropout策略等。之后,对集成学习相关内容进行了介...
【文章来源】：华中师范大学湖北省 211工程院校 教育部直属院校
【文章页数】：59 页
【学位级别】：硕士
【部分图文】：
图２．３卷积层不意图??图２．３中，卷积操作后将会得到一个６＊６的特征图
，碩士学位论文??ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ??划分为一组非重叠的矩形，然后对于所有的子区域，最大池化会输出该区域内最大??的元素，而平均池化会输出该区域内所有元素的平均值。??卷积层的使用使得需要训练的网络参数大大减少，但实际上需要学习的参数仍??然很多。例如，某卷积层输入特征图的大小为２００＊２００，若使用大小为５＊５的卷积??核，以１为步长与其进行卷积，最终会得到大小为（２００－５＋１?）＊?（２００－５＋１）?＝１９６＊１９６??的输出特征图的。卷积后得到的结果仍然具有较大尺寸，这可能不符合网络训练的??要求。然而，在卷积操作后，真正需要关注的是各个特征的相对位置，而不是其具??体位置。因此，可以使用池化操作对原始特征进行采样，进而减少训练参数并减小??过拟合。例如，使用大小为２＊２的池化核对大小为１９６＊１９６的特征图进行池化操作??后，得到的特征图大小为＾＊＾?＝?９８＊９８。一般地，使用大小为ｃ＊ｄ的池化核对??２?２??大小为ａ＊ｂ的特征图进行池化操作，若ａ可以被ｃ整除、ｂ可以被ｄ整除，则可以??得到大小为■的特征图。图２．４演示了大小为８＊８的输入特征图与大小为２＊２的??ｃ?ｄ??池化核之间的池化操作：??输入特征图?池化输出??图２．４池化层示意图??２．２．３全连接层??卷积层和池化层提取出了不同层次的局部特征，其特征图中的神经元仅与上一??层特征图中部分区域内的神经元存在关联。而全连接层中的神经元与其上一层特征??图中的每一个神经元均有关联。所以全连接层能将之前从卷积层和池化层中己经提??取出的所有局部特征进行整合，因而全连接层的输出一般可作为分类器的输入。??８??
ｎｆｆｌｊＸ碩士学位论文??ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ??ＭＮＩＳＴ数据集常被用于深度学习领域的算法研究实验，共包含７００００个带标签??的手写体数字样本，是公认的手写体数字数据集。ＭＮ１ＳＴ数据集包含０至９的阿拉??伯数字图片，这些数字都经过尺寸标准化处理并位于图像中心，每一张图片的大小??均为２８Ｘ２８的灰度图片。本章实验将ＭＮＩＳＴ数据集分为训练数据集、验证数据集??和测试数据集，分别包含５００００、１００００和１００００个样本。图３．５展示了?ＭＮＩＳＴ数??据集中不同数字的部分样本，图３．６展示了数字“３”的部分样本，可以看出，不同??类别的样本之间特征差异明显，而相同类别的样本由于书写者习惯不同也存在一定??的特征差异，甚至有部分样本人的肉眼也难以判断其所属类别。由于ＭＮＩＳＴ数据??集中的图片己经进行了二值化、中心化等预处理，并且其尺寸与本文所设计的卷积??神经网络的输入层图片像素要求相同，所以将标准化的图片归一化后作为输入层的??输入图像。??３０［？］［５］［５］［〇］［５］０［１］［２；??ＺＥｆｆｌｔＵＨＳＥＩＺｌＥｔＥ??ｇ囹國ｇ］回區］［５］区??３］［３］ｇ］［５］Ｓ［ｌ］［Ｊ］［３］［ｌ］［５??３０ＳＳＩＺ１Ｓ］０［Ｚ］Ｅ］［Ｚ??Ｓ?ｉＴ?＾?３?３?＾??ＺＩｔＺＩＳＯｌＺＩＣＺＩＳＩＳＥＩＺ??图３．５?ＭＮＩＳＴ数据集示例图片??２６??
【参考文献】：
期刊论文
[1]基于分类器集成的高光谱遥感图像分类方法[J]. 樊利恒,吕俊伟,邓江生. 光学学报. 2014(09)
硕士论文
[1]基于集成卷积神经网络的交通标志识别研究[D]. 易亿.重庆邮电大学 2019
[2]基于集成卷积神经网络的年龄估计研究[D]. 冯燕燕.广西师范大学 2019
[3]基于深度残差网络的手写体数字识别研究[D]. 覃帅.西安电子科技大学 2019
[4]基于多尺度特征融合卷积神经网络的宫颈癌细胞检测与识别[D]. 陆春宇.哈尔滨理工大学 2019
[5]基于卷积神经网络的图像分类算法研究[D]. 严寒.西北大学 2018
[6]基于深度学习的飞机分类算法研究[D]. 孙振华.东南大学 2018
[7]基于神经网络的手写体数字识别系统的研究[D]. 候亚伟.上海应用技术大学 2018
[8]深度学习中优化算法的研究与改进[D]. 张慧.北京邮电大学 2018
[9]基于集成学习模型的图片特征提取和分类技术研究[D]. 韩硕.南京邮电大学 2017
[10]基于改进卷积神经网络算法的研究与应用[D]. 王飞飞.南京邮电大学 2016
本文编号：3096892
【文章来源】：华中师范大学湖北省 211工程院校 教育部直属院校
【文章页数】：59 页
【学位级别】：硕士
【部分图文】：
图２．３卷积层不意图??图２．３中，卷积操作后将会得到一个６＊６的特征图
，碩士学位论文??ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ??划分为一组非重叠的矩形，然后对于所有的子区域，最大池化会输出该区域内最大??的元素，而平均池化会输出该区域内所有元素的平均值。??卷积层的使用使得需要训练的网络参数大大减少，但实际上需要学习的参数仍??然很多。例如，某卷积层输入特征图的大小为２００＊２００，若使用大小为５＊５的卷积??核，以１为步长与其进行卷积，最终会得到大小为（２００－５＋１?）＊?（２００－５＋１）?＝１９６＊１９６??的输出特征图的。卷积后得到的结果仍然具有较大尺寸，这可能不符合网络训练的??要求。然而，在卷积操作后，真正需要关注的是各个特征的相对位置，而不是其具??体位置。因此，可以使用池化操作对原始特征进行采样，进而减少训练参数并减小??过拟合。例如，使用大小为２＊２的池化核对大小为１９６＊１９６的特征图进行池化操作??后，得到的特征图大小为＾＊＾?＝?９８＊９８。一般地，使用大小为ｃ＊ｄ的池化核对??２?２??大小为ａ＊ｂ的特征图进行池化操作，若ａ可以被ｃ整除、ｂ可以被ｄ整除，则可以??得到大小为■的特征图。图２．４演示了大小为８＊８的输入特征图与大小为２＊２的??ｃ?ｄ??池化核之间的池化操作：??输入特征图?池化输出??图２．４池化层示意图??２．２．３全连接层??卷积层和池化层提取出了不同层次的局部特征，其特征图中的神经元仅与上一??层特征图中部分区域内的神经元存在关联。而全连接层中的神经元与其上一层特征??图中的每一个神经元均有关联。所以全连接层能将之前从卷积层和池化层中己经提??取出的所有局部特征进行整合，因而全连接层的输出一般可作为分类器的输入。??８??
ｎｆｆｌｊＸ碩士学位论文??ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ??ＭＮＩＳＴ数据集常被用于深度学习领域的算法研究实验，共包含７００００个带标签??的手写体数字样本，是公认的手写体数字数据集。ＭＮ１ＳＴ数据集包含０至９的阿拉??伯数字图片，这些数字都经过尺寸标准化处理并位于图像中心，每一张图片的大小??均为２８Ｘ２８的灰度图片。本章实验将ＭＮＩＳＴ数据集分为训练数据集、验证数据集??和测试数据集，分别包含５００００、１００００和１００００个样本。图３．５展示了?ＭＮＩＳＴ数??据集中不同数字的部分样本，图３．６展示了数字“３”的部分样本，可以看出，不同??类别的样本之间特征差异明显，而相同类别的样本由于书写者习惯不同也存在一定??的特征差异，甚至有部分样本人的肉眼也难以判断其所属类别。由于ＭＮＩＳＴ数据??集中的图片己经进行了二值化、中心化等预处理，并且其尺寸与本文所设计的卷积??神经网络的输入层图片像素要求相同，所以将标准化的图片归一化后作为输入层的??输入图像。??３０［？］［５］［５］［〇］［５］０［１］［２；??ＺＥｆｆｌｔＵＨＳＥＩＺｌＥｔＥ??ｇ囹國ｇ］回區］［５］区??３］［３］ｇ］［５］Ｓ［ｌ］［Ｊ］［３］［ｌ］［５??３０ＳＳＩＺ１Ｓ］０［Ｚ］Ｅ］［Ｚ??Ｓ?ｉＴ?＾?３?３?＾??ＺＩｔＺＩＳＯｌＺＩＣＺＩＳＩＳＥＩＺ??图３．５?ＭＮＩＳＴ数据集示例图片??２６??
【参考文献】：
期刊论文
[1]基于分类器集成的高光谱遥感图像分类方法[J]. 樊利恒,吕俊伟,邓江生. 光学学报. 2014(09)
硕士论文
[1]基于集成卷积神经网络的交通标志识别研究[D]. 易亿.重庆邮电大学 2019
[2]基于集成卷积神经网络的年龄估计研究[D]. 冯燕燕.广西师范大学 2019
[3]基于深度残差网络的手写体数字识别研究[D]. 覃帅.西安电子科技大学 2019
[4]基于多尺度特征融合卷积神经网络的宫颈癌细胞检测与识别[D]. 陆春宇.哈尔滨理工大学 2019
[5]基于卷积神经网络的图像分类算法研究[D]. 严寒.西北大学 2018
[6]基于深度学习的飞机分类算法研究[D]. 孙振华.东南大学 2018
[7]基于神经网络的手写体数字识别系统的研究[D]. 候亚伟.上海应用技术大学 2018
[8]深度学习中优化算法的研究与改进[D]. 张慧.北京邮电大学 2018
[9]基于集成学习模型的图片特征提取和分类技术研究[D]. 韩硕.南京邮电大学 2017
[10]基于改进卷积神经网络算法的研究与应用[D]. 王飞飞.南京邮电大学 2016
本文编号：3096892
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3096892.html
