深度学习中梯度下降算法的应用研究

发布时间：2021-04-29 07:02

　　随着数据化时代的变革,人工智能技术已经深入人心,深度学习技术也随着人工智能技术而兴起。深度学习的成功在于其能够解决神经网络方面的一系列问题。在处理深度神经网络及卷积神经网络方面,往往离不开梯度下降算法的支持。深度学习中的梯度算法可应用于许多问题的求解,比如线性回归模型、矩阵分解、区块链核心技术去中心化的共识算法。区块链技术的核心问题是节点之间的共识问题,在各个矿工节点之间往往会有拜占庭故障节点扰乱当前交易系统,解决这些拜占庭节点问题的方法我们称其为拜占庭容错技术（或拜占庭弹性技术）。在应对拜占庭共识问题时,各个节点间往往存在任意数量的拜占庭节点。在近几年里,拜占庭容错问题引起了研究人员的高度重视,成为业界的热点研究话题。拜占庭节点的存在,会导致节点间信息交流的不可靠,因而会干扰算法的正常运作,甚至可能会导致服务器的瘫痪。在深度学习中利用随机梯度下降算法处理拜占庭共识问题是有效的方法之一。纵观最近两年时间,Blanchard首先提出利用随机梯度法来处理拜占庭故障模型,并提出经典拜占庭模型（Classical Byzantine model）。基于经典拜占庭模型,Blanchard在迭代过... 

【文章来源】：浙江师范大学浙江省

【文章页数】：67 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
1 绪论
    1.1 课题研究背景、意义及研究现状
        1.1.1 课题研究背景及意义
        1.1.2 深度学习梯度下降法的国内外研究现状与发展
    1.2 本文的主要工作
    1.3 本文的章节安排
2 深度学习中的梯度下降算法
    2.1 引言
    2.2 梯度下降算法
        2.2.1 相关概念
        2.2.2 代数及矩阵表示方法及推导过程
        2.2.3 梯度下降的种类
        2.2.4 深度学习中基于随机梯度下降法的改进
    2.3 梯度下降法与最小二乘法的对比
    2.4 本章小结
3 拜占庭恢复模型
    3.1 引言
    3.2 拜占庭节点分布模型
    3.3 基于随机梯度下降的拜占庭系统迭代模型
    3.4 基于随机梯度下降拜占庭恢复能力(拜占庭弹性)
    3.5 拜占庭中逃避鞍点的梯度下降法
    3.6 本章小结
4 基于随机梯度下降的拜占庭聚合规则
    4.1 引言
    4.2 基于随机梯度下降的拜占庭聚合规则
        4.2.1 基于经典拜占庭模型下的聚合规则:Krum函数
        4.2.2 m-Krum
        4.2.3 基于中值的聚合规则
        4.2.4 基于一般均值的聚合规则
        4.2.5 基于截尾均值的聚合规则
    4.3 时间复杂度
    4.4 基于截尾均值聚合规则的收敛分析
        4.4.1 强凸环境下的收敛分析
        4.4.2 非凸环境下的收敛证明
    4.5 拜占庭节点攻击下聚合规则鲁棒性检测实验
        4.5.1 实验设置
        4.5.2 不存在拜占庭故障时收敛情况
        4.5.3 高斯攻击法
        4.5.4 全方位攻击法
        4.5.5 多服务器共同攻击
        4.5.6 实验小结
    4.6 本章小结
5 工作总结及展望
    5.1 目前所做工作总结
    5.2 未来工作展望
参考文献
附录
攻读学位期间取得的研究成果
致谢


【参考文献】：
期刊论文
[1]梯度下降法在机器学习中的应用[J]. 孙娅楠,林文斌.  苏州科技大学学报(自然科学版). 2018(02)
[2]基于卷积神经网络的随机梯度下降算法[J]. 王功鹏,段萌,牛常勇.  计算机工程与设计. 2018(02)

硕士论文
[1]分布式随机梯度下降算法研究[D]. 唐淳.电子科技大学 2018
[2]深度学习中优化算法的研究与改进[D]. 张慧.北京邮电大学 2018



本文编号：3167078