深度学习算法并行优化技术及应用研究
发布时间：2021-06-11 02:48
深度学习通过多层网络结构提取大数据中的层次化特征表示,这种层次化的特征表示使计算机可通过学习较简单的概念来构建复杂的概念。深度学习与传统机器学习的区别在于,深度学习可从大数据中抽取有效的特征表示,从而得到较高的处理性能。由于深度学习具有从大数据中提取有效信息表示的能力,它已在图像分类、语音识别、视频识别、自然语言处理等领域取得了巨大成功。随着数据量的增长和深度学习模型复杂度的提高,大规模深度神经网络的优化成为重要挑战。从计算科学的角度看,高性能计算技术中的异构并行优化技术在深度学习崛起的过程中发挥了重要作用。近年来,跨节点的并行优化技术在深度学习模型优化领域受到越来越多的关注。然而,由于主流深度学习优化算法———随机梯度下降算法本身的特性,深度学习并行优化算法的可扩展能力不足,深度学习并行优化技术进展缓慢。本文对多种深度学习并行优化技术以及训练加速技术进行分析研究,提出一系列深度学习并行优化算法,为各种深度学习应用提供支撑。本文的主要工作及创新点概括如下:（1）提出一种面向深度神经网络的延迟补偿异步并行Adam算法。本文提出了一种深度学习的带延迟补偿异步并行Adam算法,称为DC-Ad...
【文章来源】：国防科技大学湖南省 211工程院校 985工程院校
【文章页数】：133 页
【学位级别】：博士
【文章目录】：
摘要
Abstract
符号使用说明
第一章 绪论
1.1 研究背景及意义
1.2 研究问题定义
1.3 研究现状
1.3.1 串行优化算法
1.3.2 并行优化算法
1.3.3 同步并行随机梯度下降
1.3.4 异步并行随机梯度下降
1.4 研究内容及创新点
1.5 论文的组织结构
第二章 面向深度神经网络的延迟补偿异步并行Adam算法
2.1 引言
2.2 相关工作
2.2.1 并行SGD算法
2.2.2 Adam算法
2.2.3 延迟补偿算法
2.3 延迟补偿异步并行Adam算法
2.3.1 异步并行Adam
2.3.2 延迟补偿异步并行Adam算法
2.3.3 收敛性分析
2.3.4 DC-Adam与 DC-ASGD对比分析
2.4 实验
2.4.1 MNIST实验结果
2.4.2 CIFAR-10实验结果
2.4.3 加速比和测试准确率
2.5 本章小结
第三章 面向深度学习的两级并行优化算法
3.1 引言
3.2 相关研究
3.2.1 同步并行随机梯度下降(SSGD)算法
3.2.2 两级并行框架
3.3 异同步结合两级并行优化算法
3.3.1 两级并行系统框架
3.3.2 异同步两级并行算法
3.3.3 算法收敛性分析
3.4 实验
3.4.1 MNIST实验结果
3.4.2 CIFAR-10实验结果
3.4.3 加速比和测试准确率
3.5 本章小结
第四章 异步并行一致化随机梯度下降算法
4.1 引言
4.1.1 问题的提出
4.1.2 一致化梯度
4.2 相关工作
4.2.1 SVRG算法
4.2.2 Asy SVRG算法
4.3 异步并行一致化随机梯度下降算法
4.3.1 ACSGD算法
4.3.2 收敛性分析
4.4 实验
4.4.1 MNIST实验结果
4.4.2 CIFAR-10实验结果
4.4.3 加速比和测试准确率
4.5 本章小结
第五章 深度学习算法异构并行加速技术
5.1 引言
5.2 基于MIC的卷积神经网络训练异构并行加速
5.2.1 CNN训练计算分析
5.2.2 线程设置
5.3 实验
5.3.1 实验设置
5.3.2 训练时间评估
5.3.3 加速比评估
5.4 本章小结
第六章 面向图像-文本跨模态检索的并行优化技术
6.1 引言
6.2 DCMH模型
6.3 DCMH模型训练过程
6.4 面向跨模态检索的并行优化技术
6.5 实验结果
6.5.1 数据集
6.5.2 训练收敛性
6.5.3 训练加速比
6.5.4 平均准确率和平均召回率
6.6 本章小结
第七章 结论与展望
7.1 工作总结
7.2 工作展望
致谢
参考文献
作者在学期间取得的学术成果
本文编号：3223651
【文章来源】：国防科技大学湖南省 211工程院校 985工程院校
【文章页数】：133 页
【学位级别】：博士
【文章目录】：
摘要
Abstract
符号使用说明
第一章 绪论
1.1 研究背景及意义
1.2 研究问题定义
1.3 研究现状
1.3.1 串行优化算法
1.3.2 并行优化算法
1.3.3 同步并行随机梯度下降
1.3.4 异步并行随机梯度下降
1.4 研究内容及创新点
1.5 论文的组织结构
第二章 面向深度神经网络的延迟补偿异步并行Adam算法
2.1 引言
2.2 相关工作
2.2.1 并行SGD算法
2.2.2 Adam算法
2.2.3 延迟补偿算法
2.3 延迟补偿异步并行Adam算法
2.3.1 异步并行Adam
2.3.2 延迟补偿异步并行Adam算法
2.3.3 收敛性分析
2.3.4 DC-Adam与 DC-ASGD对比分析
2.4 实验
2.4.1 MNIST实验结果
2.4.2 CIFAR-10实验结果
2.4.3 加速比和测试准确率
2.5 本章小结
第三章 面向深度学习的两级并行优化算法
3.1 引言
3.2 相关研究
3.2.1 同步并行随机梯度下降(SSGD)算法
3.2.2 两级并行框架
3.3 异同步结合两级并行优化算法
3.3.1 两级并行系统框架
3.3.2 异同步两级并行算法
3.3.3 算法收敛性分析
3.4 实验
3.4.1 MNIST实验结果
3.4.2 CIFAR-10实验结果
3.4.3 加速比和测试准确率
3.5 本章小结
第四章 异步并行一致化随机梯度下降算法
4.1 引言
4.1.1 问题的提出
4.1.2 一致化梯度
4.2 相关工作
4.2.1 SVRG算法
4.2.2 Asy SVRG算法
4.3 异步并行一致化随机梯度下降算法
4.3.1 ACSGD算法
4.3.2 收敛性分析
4.4 实验
4.4.1 MNIST实验结果
4.4.2 CIFAR-10实验结果
4.4.3 加速比和测试准确率
4.5 本章小结
第五章 深度学习算法异构并行加速技术
5.1 引言
5.2 基于MIC的卷积神经网络训练异构并行加速
5.2.1 CNN训练计算分析
5.2.2 线程设置
5.3 实验
5.3.1 实验设置
5.3.2 训练时间评估
5.3.3 加速比评估
5.4 本章小结
第六章 面向图像-文本跨模态检索的并行优化技术
6.1 引言
6.2 DCMH模型
6.3 DCMH模型训练过程
6.4 面向跨模态检索的并行优化技术
6.5 实验结果
6.5.1 数据集
6.5.2 训练收敛性
6.5.3 训练加速比
6.5.4 平均准确率和平均召回率
6.6 本章小结
第七章 结论与展望
7.1 工作总结
7.2 工作展望
致谢
参考文献
作者在学期间取得的学术成果
本文编号：3223651
本文链接：https://www.wllwen.com/shoufeilunwen/xxkjbs/3223651.html
