深度学习系统内存重用及优化方法研究

发布时间：2022-08-10 17:44

　　在深度学习中,GPU通常用于加速深度神经网络的训练过程,然而GPU有限的物理内存意味着它很难训练大规模的深度神经网络模型。现有的内存优化方法包括重新计算方法和CPU-GPU迁移方法,它们对神经网络中的所有层应用单一的优化方式,不能实现理想的训练性能,忽视了神经网络中不同层的数据迁移成本和计算成本不一致的重要特征。针对现有优化方法的不足,提出一种基于层的内存复用和优化方法——Layup,包含两个策略:第一,结合GPU异步执行的特性,通过分析神经网络中不同层的迁移开销和重新计算开销,将神经网络中的层划分为计算敏感型和迁移敏感型两类,不同类型的层使用不同的优化策略。使用CPU-GPU迁移方法优化计算敏感型层的特征图,使用重新计算方法优化迁移敏感型层的特征图,同时使用流水线并行的方式将数据传输过程与计算过程重叠起来,进一步降低神经网络模型整体的训练性能开销。第二,通过分析神经网络训练过程中的内存使用情况,提出多种中间数据的内存复用策略。使用滑动窗口的方式复用梯度图的内存空间,并基于神经网络逐层计算的特性,逐层复用卷积工作空间和cuDNN句柄数据,进一步降低深度神经网络训练时的内存使用量。上述方... 

【文章页数】：66 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
1 绪论
    1.1 研究背景
    1.2 问题提出
    1.3 国内外研究现状
    1.4 研究内容
    1.5 文章框架结构
2 问题分析和方法设计
    2.1 问题分析与设计思路
    2.2 层自适应策略选择机制
    2.3 基于多种中间数据的内存复用策略
    2.4 本章小结
3 关键技术实现
    3.1 策略选择机制的算法实现
    3.2 内存复用策略的算法实现
    3.3 系统工作流程
    3.4 本章小结
4 测试与分析
    4.1 测试系统与实验软硬件环境
    4.2 测试数据与实验方案
    4.3 实验结果与分析
    4.4 本章小结
5 总结与展望
致谢
参考文献
附录1 攻读硕士学位期间投稿及发表的论文
附录2 攻读硕士学位期间申请的国家发明专利
附录3 攻读硕士学位期间参与的项目


【参考文献】：
期刊论文
[1]深度神经网络压缩与加速综述[J]. 纪荣嵘,林绍辉,晁飞,吴永坚,黄飞跃.  计算机研究与发展. 2018(09)
[2]Survey of recent progress in semantic image segmentation with CNNs[J]. Qichuan GENG,Zhong ZHOU,Xiaochun CAO.  Science China（Information Sciences）. 2018(05)
[3]深度神经网络并行化研究综述[J]. 朱虎明,李佩,焦李成,杨淑媛,侯彪.  计算机学报. 2018(08)
[4]深度学习研究综述[J]. 尹宝才,王文通,王立春.  北京工业大学学报. 2015(01)
[5]深度学习的昨天、今天和明天[J]. 余凯,贾磊,陈雨强,徐伟.  计算机研究与发展. 2013(09)



本文编号：3674075