面向AI应用的网络加速架构设计

发布时间：2022-11-03 21:16

　　近年来人工智能技术取得了前所未有的高速发展,在很多领域内（比如互联网,自动驾驶等）扮演着不可或缺的角色。随着人工智能时代的到来,为了解决海量训练数据和场景复杂度高等诸多难题,更大规模的机器学习模型应运而生。大规模的机器学习模型往往具有更高准确性,同时也具备更强的表达能力,可以帮助人们解决难度较高的问题。然而,大规模的机器学习模型无可避免的将会使训练节点面临计算能力和存储的双重压力。模型计算复杂度高,会导致单机训练可能消耗无法接受的时长,机器学习模型的规模大,会导致单机的存储可能无法满足训练需求。因而使用分布式机器学习集群来完成训练任务变得至关重要。不同的并行化技术、集群架构和通信机制等都会对分布式机器学习集群的性能造成很大影响,如何更好地在分布式机器学习集群上面进行数据及模型的划分、存储和训练等是分布式机器学习面临的主要问题。不同模型在分布式集群上进行模型训练时可以使用不同的并行化技术,对于单机无法存储的大规模模型,只能使用模型并行方式进行训练,而目前分布式机器学习模型训练速度慢,模型参数规模大等依然是该领域面临的主要问题。针对这两个问题,本文首先从模型并行角度出发,详细分析了模型并行... 

【文章页数】：79 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
符号对照表
缩略语对照表
第一章 绪论
    1.1 AI应用及其发展
    1.2 海量数据以及大模型的挑战
    1.3 分布式机器学习
        1.3.1 数据并行
        1.3.2 模型并行
    1.4 研究目标及研究内容
        1.4.1 研究目标
        1.4.2 研究内容
    1.5 内容安排
第二章 分布式AI加速的技术基础
    2.1 分布式AI训练的训练算法加速设计
        2.1.1 同步模型训练算法
        2.1.2 异步模型训练算法
    2.2 分布式AI的网络架构加速设计
    2.3 分布式AI的集群通信加速设计
    2.4 本章小结
第三章 分布式机器学习模型分割设计
    3.1 机器学习模型概述
    3.2 数据与模型并行
    3.3 模型按层分割通信分析
    3.4 模型跨层分割通信分析
        3.4.1 高维卷积模型通信分析
        3.4.2 Le Net纵向跨层划分分析
        3.4.3 Vgg Net纵向跨层划分分析
        3.4.4 Res Net 50纵向跨层划分分析
    3.5 基于模型分割的优化分割策略设计
        3.5.1 设计目标
        3.5.2 设计思路
        3.5.3 优化分割策略设计
        3.5.4 性能分析
    3.6 本章小结
第四章 面向AI应用的网络架构设计
    4.1 目标及设计思路
        4.1.1 目标
        4.1.2 设计思路
    4.2 模块架构设计
        4.2.1 基本模块及拓扑结构
        4.2.2 节点编址
        4.2.3 网络连接规则
    4.3 架构对比及分析
        4.3.1 架构特性评估对比
        4.3.2 架构性能仿真对比
    4.4 本章小结
第五章 总结
参考文献
致谢
作者简介



本文编号：3700639