深度神经网络内部表示提取及其结构优化实例研究
发布时间：2021-02-10 20:25
在深度学习领域快速发展的今天,人们常会构造复杂的深度神经网络在数据集上训练,得到比传统的机器学习算法表现更为优秀的模型。但在训练开始前,总会面对如何构造一个合适结构的神经网络问题,这对于训练过程和模型表现都至关重要。神经网络的结构优化问题一直是深度学习领域的难点,为了选择合适结构的神经网络,人们需要知道不同结构神经网络对目标函数表示的优劣好坏,进而做出选择,这就需要提取不同结构神经网络对目标函数的内部表示。神经网络内部表示是指神经网络对外部数据的拟合过程中,在其内部形成一种对目标函数的表示方式,其外在表现是关于输入输出信号之间的函数映射关系。本文旨在提取深度神经网络的内部表示,并将其外在表现的函数映射关系展示出来。同时利用神经网络的内部表示,进一步实现对神经网络结构优化实例问题探究。主要工作如下:（1）神经网络内部表示提取工作。为了方便计算,这里采用ReLU作为激活函数,由于ReLU函数自身分段的特性,使得神经网络内部表示的函数映射关系为分段函数形式。在求解此分段函数的过程中,需要知道其中每条映射关系及对应的输入信号取值范围,所以要对网络中各个神经元按激活状态进行分类（当神经元数量为N...
【文章来源】：南京大学江苏省 211工程院校 985工程院校 教育部直属院校
【文章页数】：79 页
【学位级别】：硕士
【部分图文】：
图１．１中国人工智能市场规模及增长率图??人工智能技术在飞速发展，而其中发展最为迅速的是深度学习技术
假设神经网络输入信号为单独数值，分别使用结构［１，１］和［２，?１］（输出层神经元??数量都为１，隐含层数量也都为１，所含神经元数量前者为１和后者为２，见下??图２．?４所示：??ｂｙ??＊？ｔ?＊２?Ｗｎ?ｌ?Ｖ?１４，２１?ｂ３??图２．?４神经网络结构模型图，结构分别为［１，１］和［２，１］??９??
２．３．１激活函数是神经网络构建的重要组成部分，其对于神经网络的输出结果的准??确率，训练流程的难易度，模型能否成功生成等都有关键的作用。在面对提取神??经网络内部表示问题时，选择一个合适的激活函数是十分重要的，可以方便计算，??训练模型，和分析内部表示的函数内容。??激活函数，也可以称作激励函数，可以理解为根据神经元的输入信号对输出??状态做出选择的函数。激活函数常常将函数的非线性特性引入到神经网络中来，??其主要是为将一个神经元节点的输入信号转换成一个输出信号，进而输出信号可??以被用于与其他信号堆叠形成下一个层的输入。??在深度学习领域，常常会使用的激活函数有Ｓｉｇｍｏｉｄ函数，Ｔａｎｈ函数，ＲｅＬＵ??函数等，见下图２．?６，也包括上述函数的一些变体。可分为Ｓ型函数，和ＲｅＬＵ??函数及其改进的函数。这些函数均具备非线性的特性，其目的是让神经网络避免??陷入简单的线性组合的特性，而具备对非线性函数的拟合能力。??
【参考文献】：
期刊论文
[1]无数学模型的非线性约束单目标系统优化方法改进[J]. 侯公羽,许哲东,刘欣,牛晓同,王清乐. 工程科学学报. 2018(11)
[2]大数据时代人工智能在计算机网络技术中的应用[J]. 彭昊. 电子技术与软件工程. 2018(20)
[3]一种基于NEAT的智能体路径规划方法[J]. 吴雷,刘箴,钱平安,刘婷婷,王瑾,柴艳杰. 计算机与数字工程. 2018(07)
[4]关于非线性激活函数的深度学习分类方法研究[J]. 杨国亮,许楠,李放,龚曼. 江西理工大学学报. 2018(03)
[5]梯度下降法在机器学习中的应用[J]. 孙娅楠,林文斌. 苏州科技大学学报(自然科学版). 2018(02)
[6]贝叶斯优化方法和应用综述[J]. 崔佳旭,杨博. 软件学报. 2018(10)
[7]ReLU激活函数优化研究[J]. 蒋昂波,王维维. 传感器与微系统. 2018(02)
[8]卷积神经网络中ReLU激活函数优化设计[J]. 王双印,滕国文. 信息通信. 2018(01)
[9]基于一种新的S型函数快速凸组合最小均方算法[J]. 伍松,周振华,李俞霖. 科学技术与工程. 2017(31)
[10]浅析计算机人工智能技术的发展与应用[J]. 王一卓. 中国新通信. 2016(20)
博士论文
[1]人工神经网络技术及其应用[D]. 覃光华.四川大学 2003
硕士论文
[1]卷积神经网络的研究与应用[D]. 姜亚东.电子科技大学 2018
[2]基于AlexNet与水平集的细胞图像检测与分割方法研究[D]. 陈依依.北京邮电大学 2018
[3]基于Attention-Based LSTM模型的文本分类技术的研究[D]. 张冲.南京大学 2016
[4]支持向量机中Sigmoid核函数的研究[D]. 刘明.西安电子科技大学 2009
本文编号：3027938
【文章来源】：南京大学江苏省 211工程院校 985工程院校 教育部直属院校
【文章页数】：79 页
【学位级别】：硕士
【部分图文】：
图１．１中国人工智能市场规模及增长率图??人工智能技术在飞速发展，而其中发展最为迅速的是深度学习技术
假设神经网络输入信号为单独数值，分别使用结构［１，１］和［２，?１］（输出层神经元??数量都为１，隐含层数量也都为１，所含神经元数量前者为１和后者为２，见下??图２．?４所示：??ｂｙ??＊？ｔ?＊２?Ｗｎ?ｌ?Ｖ?１４，２１?ｂ３??图２．?４神经网络结构模型图，结构分别为［１，１］和［２，１］??９??
２．３．１激活函数是神经网络构建的重要组成部分，其对于神经网络的输出结果的准??确率，训练流程的难易度，模型能否成功生成等都有关键的作用。在面对提取神??经网络内部表示问题时，选择一个合适的激活函数是十分重要的，可以方便计算，??训练模型，和分析内部表示的函数内容。??激活函数，也可以称作激励函数，可以理解为根据神经元的输入信号对输出??状态做出选择的函数。激活函数常常将函数的非线性特性引入到神经网络中来，??其主要是为将一个神经元节点的输入信号转换成一个输出信号，进而输出信号可??以被用于与其他信号堆叠形成下一个层的输入。??在深度学习领域，常常会使用的激活函数有Ｓｉｇｍｏｉｄ函数，Ｔａｎｈ函数，ＲｅＬＵ??函数等，见下图２．?６，也包括上述函数的一些变体。可分为Ｓ型函数，和ＲｅＬＵ??函数及其改进的函数。这些函数均具备非线性的特性，其目的是让神经网络避免??陷入简单的线性组合的特性，而具备对非线性函数的拟合能力。??
【参考文献】：
期刊论文
[1]无数学模型的非线性约束单目标系统优化方法改进[J]. 侯公羽,许哲东,刘欣,牛晓同,王清乐. 工程科学学报. 2018(11)
[2]大数据时代人工智能在计算机网络技术中的应用[J]. 彭昊. 电子技术与软件工程. 2018(20)
[3]一种基于NEAT的智能体路径规划方法[J]. 吴雷,刘箴,钱平安,刘婷婷,王瑾,柴艳杰. 计算机与数字工程. 2018(07)
[4]关于非线性激活函数的深度学习分类方法研究[J]. 杨国亮,许楠,李放,龚曼. 江西理工大学学报. 2018(03)
[5]梯度下降法在机器学习中的应用[J]. 孙娅楠,林文斌. 苏州科技大学学报(自然科学版). 2018(02)
[6]贝叶斯优化方法和应用综述[J]. 崔佳旭,杨博. 软件学报. 2018(10)
[7]ReLU激活函数优化研究[J]. 蒋昂波,王维维. 传感器与微系统. 2018(02)
[8]卷积神经网络中ReLU激活函数优化设计[J]. 王双印,滕国文. 信息通信. 2018(01)
[9]基于一种新的S型函数快速凸组合最小均方算法[J]. 伍松,周振华,李俞霖. 科学技术与工程. 2017(31)
[10]浅析计算机人工智能技术的发展与应用[J]. 王一卓. 中国新通信. 2016(20)
博士论文
[1]人工神经网络技术及其应用[D]. 覃光华.四川大学 2003
硕士论文
[1]卷积神经网络的研究与应用[D]. 姜亚东.电子科技大学 2018
[2]基于AlexNet与水平集的细胞图像检测与分割方法研究[D]. 陈依依.北京邮电大学 2018
[3]基于Attention-Based LSTM模型的文本分类技术的研究[D]. 张冲.南京大学 2016
[4]支持向量机中Sigmoid核函数的研究[D]. 刘明.西安电子科技大学 2009
本文编号：3027938
本文链接：https://www.wllwen.com/kejilunwen/sousuoyinqinglunwen/3027938.html
