基于近似计算的拟牛顿神经网络训练算法的硬件实现

发布时间：2023-06-19 19:06

　　近年来,人工神经网络技术快速发展,已应用到电子、经济、医疗等各个领域。训练是建立神经网络的关键步骤。拟牛顿方法被认为是最有效的神经网络训练算法之一。当神经网络架构比较复杂时,拟牛顿算法的软件实现往往需要消耗很长的时间。为了加速训练过程,在FPGA上实现了基于单精度浮点算术的拟牛顿神经网络训练算法硬件加速平台。该平台共包括初始化、线搜索、梯度计算、矩阵更新、目标函数计算和控制六大模块。通过对硬件加速平台各个模块进行资源评估和运行时间评估,发现其仍有较大的优化空间。本文旨在使用近似计算技术对拟牛顿神经网络训练算法硬件加速平台进行优化。首先,通过资源分析发现矩阵更新模块消耗大量的存储资源和计算资源,所以对矩阵更新模块进行定点化优化,实现了基于定点矩阵更新的混合精度拟牛顿算法硬件平台。在定点化过程中,使用矩阵正定性检测和矩阵重置的方法解决上溢问题,使用精度缩放的方式解决由于位宽不足引起的精度下降问题。最后根据定点化结果设计了矩阵更新模块的硬件架构。实验结果表明,与单精度浮点拟牛顿算法硬件实现相比,混合精度的设计最高降低10.9%LUT,20.2%FF,2.2%DSP和18.1%BRAM。其次,...

【文章页数】：64 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第1章 绪论
    1.1 课题背景及研究意义
    1.2 国内外发展现状
        1.2.1 基于FPGA的算法实现
        1.2.2 近似计算在神经网络硬件实现的应用
        1.2.3 基于FPGA的拟牛顿神经网络训练算法的实现研究
    1.3 本论文任务及贡献
    1.4 论文结构及内容安排
第2章 课题相关知识简介
    2.1 拟牛顿优化算法
        2.1.1 拟牛顿条件
        2.1.2 BFGS算法
    2.2 人工神经网络
        2.2.1 神经网络的基本结构
        2.2.2 神经网络的训练
    2.3 近似计算
        2.3.1 数据表示类型
        2.3.2 一维线搜索方法
    2.4 现场可编程门阵列
        2.4.1 FPGA 的开发流程
        2.4.2 Net-FPGA SUME开发板
    2.5 本章小结
第3章 基于定点矩阵更新的混合精度 BFGS 算法的硬件实现
    3.1 问题陈述及优化目标
    3.2 矩阵更新模块定点化
        3.2.1 matlab定点仿真设置
        3.2.2 定点化过程
        3.2.3 矩阵正定性检测及矩阵重置
        3.2.4 精度缩放
        3.2.5 matlab仿真结果及变量位宽说明
    3.3 混合精度拟牛顿算法硬件实现
    3.4 性能评估
        3.4.1 单精度浮点矩阵更新模块vs定点矩阵更新模块
        3.4.2 混合精度BFGS算法vs单精度浮点BFGS算法
    3.5 本章小结
第4章 基于非精确线搜索方法的BFGS算法硬件实现
    4.1 问题陈述
    4.2 三种一维线搜索方法的对比评估
        4.2.1 训练数据选择
        4.2.2 线搜索方法选择
    4.3 基于非精确线搜索方法的BFGS算法的实现
        4.3.1 全硬件方案
        4.3.2 FPGA+CPU方案
    4.4 性能评估
        4.4.1 资源利用率
        4.4.2 运行时间
    4.5 本章小结
第5章 总结与展望
    5.1 总结
    5.2 展望
参考文献
发表论文和参加科研情况说明
致谢



本文编号：3834947