异构化TensorFlow架构的研究与实现

发布时间：2023-03-05 15:48

　　随着全球科技变革的推进,人工智能成为各大公司的研究热点和战略重心。TensorFlow是谷歌推出的开源机器学习框架,自开源以来便受到极大关注,是GitHub社区上最受欢迎的机器学习、深度学习项目之一。目前,TensorFlow可以在多个云平台上部署运行,但仍存在软件的依赖与管理问题,而利用Docker技术具有的快速部署与可移植等优势,通过Docker容器实现TensorFlow的虚拟化异构,可以解决TensorFlow环境依赖的问题,并为科研人员及工程师提供便捷的开发环境,具有现实的应用意义。本文通过TensorFlow与市场上其他主流深度学习框架的对比分析,针对TensorFlow在任务调度、容错等方面存在的不足,提出相应的改进优化方案;利用Docker技术拥有的资源隔离、高性能及可移植等优点,使用Docker容器部署TensorFlow,实现TensorFlow的虚拟化异构;通过构建基于Docker集群的TensorFlow深度学习系统,实现TensorFlow深度学习系统的分布式部署,提升平台数据吞吐量;并通过多GPU并行化模型训练方案,解决深度学习训练时间长的问题。本文实现了以...

【文章页数】：75 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 研究背景与意义
    1.2 国内外现状研究
        1.2.1 Docker容器研究现状
        1.2.2 TensorFlow研究现状
    1.3 主要研究内容
    1.4 论文组织结构
第二章 相关理论及技术研究
    2.1 Docker容器技术
        2.1.1 Docker概述
        2.1.2 Docker组织构架
        2.1.3 Docker核心组件
    2.2 TensorFlow深度学习框架
        2.2.1 TensorFlow概述
        2.2.2 TensorFlow框架特性
        2.2.3 TensorFlow编程模型
    2.3 本章小结
第三章 TensorFlow架构研究与优化
    3.1 TensorFlow架构的研究分析
        3.1.1 主流深度学习框架对比分析
        3.1.2 TensorFlow框架存在的问题
    3.2 任务分配策略设计与实现
        3.2.1 任务分配策略基本思想
        3.2.2 任务分配策略设计与实现
    3.3 容错机制设计与实现
        3.3.1 容错机制基本思想
        3.3.2 容错机制设计与实现
    3.4 性能监控服务设计与实现
        3.4.1 性能监控服务需求分析
        3.4.2 性能监控服务设计与实现
    3.5 本章小结
第四章 虚拟化异构TensorFlow架构的实现
    4.1 分布式部署
        4.1.1 Docker容器通信设计与实现
        4.1.2 Docker容器集群架构设计
    4.2 容器集群管理
        4.2.1 集群资源管理
        4.2.2 容器弹性伸缩设计与实现
        4.2.3 资源调度策略设计与实现
    4.3 并行化训练
        4.3.1 模型并行方案设计
        4.3.2 数据并行方案设计
        4.3.3 环形并行结构实现
    4.4 本章小结
第五章 测试与分析
    5.1 环境配置与搭建
        5.1.1 环境配置
        5.1.2 环境搭建
    5.2 性能测试与分析
        5.2.1 物理主机与Docker容器性能对比
        5.2.2 TensorFlow优化前后性能对比实验
        5.2.3 异构化TensorFlow与分布式版本TensorFlow性能对比实验
    5.3 本章总结
第六章 总结与展望
    6.1 论文工作总结
    6.2 研究展望
参考文献
攻读学位期间的研究成果
致谢



本文编号：3756480