深度卷积神经网络中反馈机制的计算建模及应用研究

发布时间：2021-03-20 21:25

　　当前,随着人工智能技术的不断发展,深度人工神经网络被广泛应用于人类社会的各个领域。特别地,前馈型深度卷积神经网络（CNNs）在各种计算机视觉任务上已经取得了巨大成功。然而,随着应用需求的不断增加,视觉处理任务复杂度不断提高,依靠简单前馈方式工作的卷积神经网络开始满足不了人们的需求,探索更加类似人类视觉系统的新一代视觉信息处理神经网络显得迫在眉睫。来自认知神经科学的研究表明,人类的视觉系统由大量的前馈连接、反馈连接和侧向连接构成,而反馈连接和侧向连接的数量远远大于前馈连接。因此,基于前馈网络构建有效的反馈机制具有重要的研究价值。本文受人类视皮质层反馈机制的启发,对深度卷积神经网络中如何构建反馈机制进行了深入的研究,提出了有效的反馈机制计算模型和运行框架,充分扩展了深度卷积神经网络的功能,并成功运用于多项计算视觉任务中。本文的主要研究工作和贡献归纳如下:1.在深度卷积神经网络中,针对反馈机制的构建问题,本文在理论上提出了有效的反馈机制计算模型。在面向目标识别的深度卷积神经网络中,本文给出了反馈机制的具体数学定义,并将反馈机制建模成一个优化问题,确定了反馈机制工作运行的基本框架。2.针对提出... 

【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校

【文章页数】：117 页

【学位级别】：博士

【部分图文】：

HopBeld神经网络塞本结构

的输出：＾都会通过反馈连接（权重为作为其他神经元输入，即神经元的输出都会受到所有其他神经元输出的调节，所有神经元的输制约相互影响的。ＤＨＮＮ的工作过程从初始状态开始随着外界的输入演变的过程，可以想象，所有神经元的状态在这个动态演变的过程中将不断调整，而最终网络稳定收敛时，所有神经元的状态将不再改变。Ｈｏｐ一种非线性的动力学系统，它能够实现存储预设稳定点的功能，而其动体现在它能够进行稳定性分析，具有有限环和混沌等状态。??我们通过Ｈｏｐｆｉｅｌｄ网络可以实现简单的联想记忆功能【２８＞２９］。如果我ｆｉｅｌｄ网络的稳态表７Ｆ成一■种模式，那么这种模式能够通过Ｈｏｐｆｉｅｌｄ网络化过程从初始的部分模式信息恢复出完整的模式信息，这便实现了该想记忆。另外，我们也可以通过Ｈｏｐｆｉｅｌｄ网络实现优化问题的求解，这用Ｈｏｐｆｉｅｌｄ网络的能量函数来实现。具体来讲，我们可以将优化问题的转化为Ｈｏｐｆｉｅｌｄ网络的能量函数，网络的初始状态对应成优化问题的优空间的起始点，而当网络能量不断减小并收敛时，网络的输出就成了的一个解。??ｙ（ｔ）输出层??

简单的拼图任务等，这时就需要双向＿下叠加在一起组成的。输出由这两个ＲＮＮ的同时提供给两个方向相反的＿，而输出则是来获得。前面介绍的ＲＮＮｓ和双向ＲＮＮｓ都是网络只有一个隐层的情况，如果我们设置网络个隐层，这样便能形成深度循环网络。??间的反向传播（ＢＰＴＴ）［３６】算法来训练网络权向，从网络的输出反向推导每一个可学习参数梯度更新每个可学习参数。浅层＿３在采用的成功，然而，ＲＮＮｓ在处理长期依赖时会遇回传过程中，距离较远的节点之间在计算梯度时容易出现梯度消失的问题。许多研究者参与出解决方案，例如ＥＳＮ?（Ｅｃｈｏ?Ｓｔａｔｅ?Ｎｅｔｗｏｒｋ＾?（ＧａｔｅｄＲＮＮ［３９］）等等。长短期记忆网络ＬＳＴ。??

【参考文献】：
期刊论文
[1]人工智能各国战略解读:美国推进创新脑神经技术脑研究计划[J]. 伦一.  电信网技术. 2017(02)
[2]刘成林:从模式识别到类脑研究[J]. 祝叶华.  科技导报. 2016(07)
[3]世界科技创新趋势与启示[J]. 白春礼.  科学发展. 2014(03)



本文编号：3091693