基于Tensorflow的神经网络求解Fredholm积分方程
发布时间：2021-06-28 20:17
神经网络在图像识别、语音识别、情感分析等领域取得了巨大的成功,且显示出其在各个领域有广阔的应用前景。本文基于Tensorflow提出了一种残差网络求解Fredholm积分方程的数值方法。该方法首先在求解区域随机产生训练数据集,通过前向传播残差神经网络得到训练集上的预测值;然后代入Fredholm积分方程得到离散格式,并定义损失函数,将解Fredholm积分方程转化为一个最小二乘问题,利用神经网络进行优化求解,这个方法形式简单,对高维问题计算量无显著增加。数值实验表明,该算法所训练的残差网络不仅不会出现网络退化现象,而且具有稳定性好、泛化能力强等优点,能有效求解Fredholm积分方程,且取得了很好的收敛精度。
【文章来源】：浙江理工大学浙江省
【文章页数】：53 页
【学位级别】：硕士
【部分图文】：
图２．１：复合函数与网络的层??
浙江理工大学硕士学位论文?基于Ｔｅｎｓｏｒｆｌｏｗ的神经网络求解Ｆｒｅｄｈｏｌｍ积分方程??这是一个４层的神经网络，Ｌａｙｅｒ＇ｌｌ为输入层，Ｚ／ａｙｅｒ＿Ｌ４为输出层，ＬａｙｅｒＺ＾、??ＬａｙｅｒＩ／３为隐藏层，即神经网络由输入层、隐藏层、输出层构成，且６彡＝?１，２，３）代??表每一层的阈值，％，＃＝?ｌ，２，３，４，５，６，ｊ?＝?３，４，５，６，７）代表神经元与神经元之间连接的??权重。??根据图２．１我们已经了解了神经网络的基本结构，下面我们来了解一下神经网络的??基本组成部分－神经元。神经元是神经网络的基本信息处理单位，它能够处理复杂的非??线性问题，一个典型的神经元Ｍ－Ｐ模型如图２．２所示：??－Ｙ，??＂Ｖ?＾??＾??图２．２：?Ｍ－Ｐ神经元模型??对于图２．１中编号为３的神经元，它同时接收三个输入信号。其中，＾、：ｃ２代??表输入，￣代表阈值。中间部分为神经元，而最后的２３是神经元的输出。整个过程可??以理解为输入处理—输出。??生物神经元之间靠形成突触的方式构成神经网络，但各个突出结构的性质与连接??强度也不尽相同，具体表现就是相同的输入可能对不同的神经元有不同的影响。引入??权重值的目的就是为了模拟突触的这种表现，其正负代表了祌经元中突触的兴奋或者??抑制，其大小则表现了突触间的不同连接强度，匕表示阈值。??考虑到神经元信号的累加性，对全部的输入信号进行累加整合，相当于生物神经??元中膜电位的变化总量，其值可以表示为：??＝?Ｙｌｗ＾Ｘｉ￣ｈｉ－??ｉ??生物神经元的激活与否取决于输入信号与阈值的比较。当其输入的加权和超过阈??值ｂ时，神经元才会被激活，否则神经元不会被激活。
浙江理工大学硕士学位论文?基于Ｔｅｎｓｏｒｆｌｏｗ的神经网络求解Ｆｒｅｄｈｏｌｍ积分方程??（２．２）中用々来表示。我们可以使用以下数学公式来描述神经元的输出：??ｍ??Ｚｉ?＝?ｉＶｉｊＸｊ?－?ｂｊ）．??ｉ＝ｉ??２．１．２激活函数??激活函数⑷也称为映射函数，非线性的激活函数＾是整个模型的重要组成部分，??它的主要作用是加入非线性因素，对计算结果进行非线性转换，可以有效解决线性模??型的表达、分类能力不足的问题，从而提升神经网络的表达能力。常见的激活函数有??Ｓｉｇｍｏｉｄ，?ｔａｎｈｊ?ＲｅＬＵ?等。??１．?Ｓｉｇｍｏｉｄ激活函数??在神经网络和深度学习领域经常会用到Ｓｉｇｍｏｉｄ函数（又称Ｌｏｇｉｓｔｉｃ函数），它??在数据科学领域是一个非常重要的函数。图２．３为Ｓｉｇｍｏｉｄ激活函数，它的表达式为：??＾ＰＳｉｇｍｏｉｄｉｘ）?＝?（２．１）??１?ｒ一￣￣??０．８?■??０．６?Ｊ??＾＾３．１?■??－１０?－５?５?１０??图２．３：?ｓｉｇｍｏｉｄ激活函数结构图??Ｓｉｇｍｏｉｄ的函数图像呈Ｓ形状，因此也常被称为＊５函数，该函数是将取值为??（—〇〇，＋〇〇）的数映射至ＩＪ?（０，１）之间。Ｓｉｇｍｏｉｄ常用于处理二分类问题。使用Ｓｉｇｍｏｉｄ函??数作为神经元里的激活函数优点在于，Ｓｉｇｍｏｉｄ函数能将任意的值映射到区间（０，１）。??当公式中的变量是很大的负数时，输出值接近０；当变量是很大的正数时，输出值接??近１。这个特性在祌经元上也能找到很好的解释：输出值接近０表示神经元没被激??活，而输出值接近１表示神经元被激活。??２．?ｔａｎｈ激活函数??７??
【参考文献】：
期刊论文
[1]二维第一类Fredholm积分方程数值解的RRGMRES算法[J]. 闵涛,党香燕. 应用数学与计算数学学报. 2018(04)
本文编号：3254983
【文章来源】：浙江理工大学浙江省
【文章页数】：53 页
【学位级别】：硕士
【部分图文】：
图２．１：复合函数与网络的层??
浙江理工大学硕士学位论文?基于Ｔｅｎｓｏｒｆｌｏｗ的神经网络求解Ｆｒｅｄｈｏｌｍ积分方程??这是一个４层的神经网络，Ｌａｙｅｒ＇ｌｌ为输入层，Ｚ／ａｙｅｒ＿Ｌ４为输出层，ＬａｙｅｒＺ＾、??ＬａｙｅｒＩ／３为隐藏层，即神经网络由输入层、隐藏层、输出层构成，且６彡＝?１，２，３）代??表每一层的阈值，％，＃＝?ｌ，２，３，４，５，６，ｊ?＝?３，４，５，６，７）代表神经元与神经元之间连接的??权重。??根据图２．１我们已经了解了神经网络的基本结构，下面我们来了解一下神经网络的??基本组成部分－神经元。神经元是神经网络的基本信息处理单位，它能够处理复杂的非??线性问题，一个典型的神经元Ｍ－Ｐ模型如图２．２所示：??－Ｙ，??＂Ｖ?＾??＾??图２．２：?Ｍ－Ｐ神经元模型??对于图２．１中编号为３的神经元，它同时接收三个输入信号。其中，＾、：ｃ２代??表输入，￣代表阈值。中间部分为神经元，而最后的２３是神经元的输出。整个过程可??以理解为输入处理—输出。??生物神经元之间靠形成突触的方式构成神经网络，但各个突出结构的性质与连接??强度也不尽相同，具体表现就是相同的输入可能对不同的神经元有不同的影响。引入??权重值的目的就是为了模拟突触的这种表现，其正负代表了祌经元中突触的兴奋或者??抑制，其大小则表现了突触间的不同连接强度，匕表示阈值。??考虑到神经元信号的累加性，对全部的输入信号进行累加整合，相当于生物神经??元中膜电位的变化总量，其值可以表示为：??＝?Ｙｌｗ＾Ｘｉ￣ｈｉ－??ｉ??生物神经元的激活与否取决于输入信号与阈值的比较。当其输入的加权和超过阈??值ｂ时，神经元才会被激活，否则神经元不会被激活。
浙江理工大学硕士学位论文?基于Ｔｅｎｓｏｒｆｌｏｗ的神经网络求解Ｆｒｅｄｈｏｌｍ积分方程??（２．２）中用々来表示。我们可以使用以下数学公式来描述神经元的输出：??ｍ??Ｚｉ?＝?ｉＶｉｊＸｊ?－?ｂｊ）．??ｉ＝ｉ??２．１．２激活函数??激活函数⑷也称为映射函数，非线性的激活函数＾是整个模型的重要组成部分，??它的主要作用是加入非线性因素，对计算结果进行非线性转换，可以有效解决线性模??型的表达、分类能力不足的问题，从而提升神经网络的表达能力。常见的激活函数有??Ｓｉｇｍｏｉｄ，?ｔａｎｈｊ?ＲｅＬＵ?等。??１．?Ｓｉｇｍｏｉｄ激活函数??在神经网络和深度学习领域经常会用到Ｓｉｇｍｏｉｄ函数（又称Ｌｏｇｉｓｔｉｃ函数），它??在数据科学领域是一个非常重要的函数。图２．３为Ｓｉｇｍｏｉｄ激活函数，它的表达式为：??＾ＰＳｉｇｍｏｉｄｉｘ）?＝?（２．１）??１?ｒ一￣￣??０．８?■??０．６?Ｊ??＾＾３．１?■??－１０?－５?５?１０??图２．３：?ｓｉｇｍｏｉｄ激活函数结构图??Ｓｉｇｍｏｉｄ的函数图像呈Ｓ形状，因此也常被称为＊５函数，该函数是将取值为??（—〇〇，＋〇〇）的数映射至ＩＪ?（０，１）之间。Ｓｉｇｍｏｉｄ常用于处理二分类问题。使用Ｓｉｇｍｏｉｄ函??数作为神经元里的激活函数优点在于，Ｓｉｇｍｏｉｄ函数能将任意的值映射到区间（０，１）。??当公式中的变量是很大的负数时，输出值接近０；当变量是很大的正数时，输出值接??近１。这个特性在祌经元上也能找到很好的解释：输出值接近０表示神经元没被激??活，而输出值接近１表示神经元被激活。??２．?ｔａｎｈ激活函数??７??
【参考文献】：
期刊论文
[1]二维第一类Fredholm积分方程数值解的RRGMRES算法[J]. 闵涛,党香燕. 应用数学与计算数学学报. 2018(04)
本文编号：3254983
本文链接：https://www.wllwen.com/kejilunwen/yysx/3254983.html
