自适应弹性网神经网络模型及算法研究
发布时间：2021-11-20 02:51
随着人工智能领域的迅速发展,人工神经网络开始成为人们关注的焦点,因为其具有出色的拟合能力,理论上能够对任何数据分布进行拟合,所以广泛应用于各种领域,在图像分类、语音识别、自然语言处理等领域均取得了非常好的成果。但由于较高的模型复杂度,导致神经网络模型会出现过拟合现象,即模型在训练集上的效果极佳、在测试集上的泛化能力不够理想。为了解决这个问题,人们提出很多方法。其中,正则化是一种常用方法。人们提出了一些正则化模型,并且取得了一定的效果,然而这些模型并不能完全满足Antoniadis所提出的一个优秀的正则化模型应当满足的性质。基于此,本文将一种新式正则项与神经网络模型结合,提出自适应弹性网神经网络模型,从理论上证明了该模型具有优秀的性质,并且通过实验验证了该模型能够更好地解决神经网络模型的过拟合问题。另外我们发现,在数据不平衡问题中,模型对于多数类的样本也会发生过拟合现象,进行了相关实验后,在三个不同的评价指标上验证了自适应弹性网神经网络模型在解决数据不平衡问题上也可以取得非常好的效果。本文的主要工作包括:首先将自适应弹性网正则化方法和神经网络模型相结合,提出了自适应弹性网神经网络模型以及...
【文章来源】：大连海事大学辽宁省 211工程院校
【文章页数】：58 页
【学位级别】：硕士
【部分图文】：
图２．１全连接神经网络??Ｆｉｇ．?２．１?Ｆｕｌｌ?ｃｏｎｎｅｃｔｅｄ?ｎｅｕｒａｌ?ｎｅｔｗｏｒｋ??－６?￣??
?自适应弹性网神经网络模型及算法研究???ＶＴＶ－???＾?Ｘｗ＋ｂ?ｊ＼Ｘｗ＾ｂ）?－??Ｖ?／細??Ｚ?加权?激活??输入??图２．?２感知机模型??Ｆｉｇ．?２．２?Ｐｅｒｃｅｐｔｒｏｎ?ｍｏｄｅｌ??此时会作为第二层隐藏层的输入继续传递，由此我们推出计算隐藏层每？层输??出的一般形式，第ｙ层的输出为：??（２．２）??其中ｉ的维度为Ｈ?ｘ?／ｊｈ，维度为＼?，?ｘ?Ａ，．。??当传递到输出层时，经加权后的结果为ｔ?＝义？，，？?＋?６，，，其屮和Ａ，，分別为输出层??的权重和偏置，若为回归实验，则最后输出；若为分类实验，则需要使用ｓｏｆｔｎｉａｘ??函数激活后再输出：假设实验的类别个数为》丨，则ｔ?＝?为维矩阵，??对于第Ａ：个样本ｚ来讲，使用ｓｏｆｔｍａｘ函数计算的公式如下：??°ｋ??Ｋ？ｐｕ，ｋ?＝?－＾―?－?（２．３）??ｉ＝］??其中：代表样本＆属于第〖类的概率，最后输出的形式为：??（ｙ１?Ｖ１?…Ｙｒｎ?）??１?ｏｕｔｐｕｔ、?１?ｏｕｔｐｕｔ＾?ｏｕｔｐｕｔ］??Ｙｌ?ｙ２?．．．?Ｙｍ??＿?ｏｕｌｐｕｉｙ?０１１＾１＾２?＊?ｏｕｔｐｕｔ）?ｆ?Ａ?＼??Ｙｏｌｌｐｕｔ?＝?：???；?’?？??ｙ＼?…?…?ｙｍ??ｙ?１?ｏｕｔｐｕｔ，，?１?ｏｕｔｐｕｔｎ?ｊ??－８?－??
?自适应弹性网神经网络模型及算法研宄???为窗口内元素的最大值，则将３放在窗口内的对应位置，其他位置为０。其他三个灵敏??度的计算同理。??０．７５?０．７５?１．２５?１．２５??０．７５?０．７５?１．２５?Ｊ．２５??均值池化?ｙ???１．５?１．５?１?１??３?Ｉ?５?Ｉ?｜?１５?｜?Ｉ．５?｜?１?｜「??６?４???????３．０?０?５??０?０?０?０??最大值池化????０?６?０?０??０?０?４?０??图２．?６灵敏度在池化层的传递??Ｆｉｇ．?２．６?Ｓｅｎｓｉｔｉｖｉｔｙ?ｔｒａｎｓｍｉｓｓｉｏｎ?ｏｎ?ｐｏｏｌｉｎｇ?ｌａｙｅｒ??当灵敏度由池化层传递到卷积层时，我们要先将灵敏度矩阵补〇值，再将卷积核顺??时针旋转１８０度，进行卷积操作，如图２．７，首先对本来大小为２ｘ２的图片扑０值至４ｘ４?，??再将卷积核翻转１８０度，假设卷积核移动步长为１，按照图２．４所描述的方法进行卷积??操作可得到卷积后的值为５，则卷积后对Ｒ位置的灵敏度为５，冋理〖｜＇算其他对应位置??的灵敏度，即可得到最后我们所需要的３?ｘ?３的灵敏度矩阵。??（?ｊ?１８０。??７?？??０?１１?…二－５?１６?１２??８?７??０?１?Ｊ?＂?２２?ｍ?－ｌｆｌ??……－二?６?５??°?；＾?４?＇＇?…ｊ???２１?Ｓ２?：Ｖ２??０?Ｇ?０?？Ｊ??图２．?７灵敏度在卷积层的传递??Ｆｉｇ．?２．７?Ｓｅｎｓｉｔｉｖｉｔｙ?ｔｒａｎｓｍｉｓｓｉｏｎ?ｏｎ?ｃｏｎｖｏｌｕｔｉｏｎａｌ?ｌａｙｅｒ??－１
【参考文献】：
期刊论文
[1]一种基于Lasso回归与SVD融合的深度学习模型压缩方法[J]. 吴进,吴汉宁,刘安,李聪,李乔深. 电讯技术. 2019(05)
[2]带L2正则化项的神经网络逆向迭代算法收敛性分析[J]. 吕炜,陈永刚,沈晨. 信息技术与信息化. 2015(06)
[3]基于l1-正则化的ELM回归集成学习[J]. 王权,陈松灿. 计算机研究与发展. 2012(12)
博士论文
[1]基于神经反应模型和稀疏表示的图像分类算法研究[D]. 李宏锋.华中科技大学 2016
硕士论文
[1]基于神经网络的癌症多亚型分类及关键致病基因选择[D]. 何艳玲.中国矿业大学 2018
[2]基于LSTM深度神经网络的股市时间序列预测精度的影响因素研究[D]. 毛景慧.暨南大学 2017
[3]自适应弹性网逻辑回归模型的研究[D]. 连少静.河北大学 2016
本文编号：3506415
【文章来源】：大连海事大学辽宁省 211工程院校
【文章页数】：58 页
【学位级别】：硕士
【部分图文】：
图２．１全连接神经网络??Ｆｉｇ．?２．１?Ｆｕｌｌ?ｃｏｎｎｅｃｔｅｄ?ｎｅｕｒａｌ?ｎｅｔｗｏｒｋ??－６?￣??
?自适应弹性网神经网络模型及算法研究???ＶＴＶ－???＾?Ｘｗ＋ｂ?ｊ＼Ｘｗ＾ｂ）?－??Ｖ?／細??Ｚ?加权?激活??输入??图２．?２感知机模型??Ｆｉｇ．?２．２?Ｐｅｒｃｅｐｔｒｏｎ?ｍｏｄｅｌ??此时会作为第二层隐藏层的输入继续传递，由此我们推出计算隐藏层每？层输??出的一般形式，第ｙ层的输出为：??（２．２）??其中ｉ的维度为Ｈ?ｘ?／ｊｈ，维度为＼?，?ｘ?Ａ，．。??当传递到输出层时，经加权后的结果为ｔ?＝义？，，？?＋?６，，，其屮和Ａ，，分別为输出层??的权重和偏置，若为回归实验，则最后输出；若为分类实验，则需要使用ｓｏｆｔｎｉａｘ??函数激活后再输出：假设实验的类别个数为》丨，则ｔ?＝?为维矩阵，??对于第Ａ：个样本ｚ来讲，使用ｓｏｆｔｍａｘ函数计算的公式如下：??°ｋ??Ｋ？ｐｕ，ｋ?＝?－＾―?－?（２．３）??ｉ＝］??其中：代表样本＆属于第〖类的概率，最后输出的形式为：??（ｙ１?Ｖ１?…Ｙｒｎ?）??１?ｏｕｔｐｕｔ、?１?ｏｕｔｐｕｔ＾?ｏｕｔｐｕｔ］??Ｙｌ?ｙ２?．．．?Ｙｍ??＿?ｏｕｌｐｕｉｙ?０１１＾１＾２?＊?ｏｕｔｐｕｔ）?ｆ?Ａ?＼??Ｙｏｌｌｐｕｔ?＝?：???；?’?？??ｙ＼?…?…?ｙｍ??ｙ?１?ｏｕｔｐｕｔ，，?１?ｏｕｔｐｕｔｎ?ｊ??－８?－??
?自适应弹性网神经网络模型及算法研宄???为窗口内元素的最大值，则将３放在窗口内的对应位置，其他位置为０。其他三个灵敏??度的计算同理。??０．７５?０．７５?１．２５?１．２５??０．７５?０．７５?１．２５?Ｊ．２５??均值池化?ｙ???１．５?１．５?１?１??３?Ｉ?５?Ｉ?｜?１５?｜?Ｉ．５?｜?１?｜「??６?４???????３．０?０?５??０?０?０?０??最大值池化????０?６?０?０??０?０?４?０??图２．?６灵敏度在池化层的传递??Ｆｉｇ．?２．６?Ｓｅｎｓｉｔｉｖｉｔｙ?ｔｒａｎｓｍｉｓｓｉｏｎ?ｏｎ?ｐｏｏｌｉｎｇ?ｌａｙｅｒ??当灵敏度由池化层传递到卷积层时，我们要先将灵敏度矩阵补〇值，再将卷积核顺??时针旋转１８０度，进行卷积操作，如图２．７，首先对本来大小为２ｘ２的图片扑０值至４ｘ４?，??再将卷积核翻转１８０度，假设卷积核移动步长为１，按照图２．４所描述的方法进行卷积??操作可得到卷积后的值为５，则卷积后对Ｒ位置的灵敏度为５，冋理〖｜＇算其他对应位置??的灵敏度，即可得到最后我们所需要的３?ｘ?３的灵敏度矩阵。??（?ｊ?１８０。??７?？??０?１１?…二－５?１６?１２??８?７??０?１?Ｊ?＂?２２?ｍ?－ｌｆｌ??……－二?６?５??°?；＾?４?＇＇?…ｊ???２１?Ｓ２?：Ｖ２??０?Ｇ?０?？Ｊ??图２．?７灵敏度在卷积层的传递??Ｆｉｇ．?２．７?Ｓｅｎｓｉｔｉｖｉｔｙ?ｔｒａｎｓｍｉｓｓｉｏｎ?ｏｎ?ｃｏｎｖｏｌｕｔｉｏｎａｌ?ｌａｙｅｒ??－１
【参考文献】：
期刊论文
[1]一种基于Lasso回归与SVD融合的深度学习模型压缩方法[J]. 吴进,吴汉宁,刘安,李聪,李乔深. 电讯技术. 2019(05)
[2]带L2正则化项的神经网络逆向迭代算法收敛性分析[J]. 吕炜,陈永刚,沈晨. 信息技术与信息化. 2015(06)
[3]基于l1-正则化的ELM回归集成学习[J]. 王权,陈松灿. 计算机研究与发展. 2012(12)
博士论文
[1]基于神经反应模型和稀疏表示的图像分类算法研究[D]. 李宏锋.华中科技大学 2016
硕士论文
[1]基于神经网络的癌症多亚型分类及关键致病基因选择[D]. 何艳玲.中国矿业大学 2018
[2]基于LSTM深度神经网络的股市时间序列预测精度的影响因素研究[D]. 毛景慧.暨南大学 2017
[3]自适应弹性网逻辑回归模型的研究[D]. 连少静.河北大学 2016
本文编号：3506415
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/3506415.html
