基于FPGA的卷积神经网络加速器

发布时间：2017-03-24 22:04

  本文关键词：基于FPGA的卷积神经网络加速器，，由笔耕文化传播整理发布。

【摘要】：卷积神经网络是一种源自人工神经网络的多层感知器,它对图像的平移、比例缩放、倾斜等形式的变形具有高度的适应性,是提取图形特征的灵敏传感器,近年来得到越来越广泛的应用。目前,卷积神经网络主要基于通用处理器实现,但基于软件方式无法充分挖掘卷积神经网络的并行性,在实时性和功耗方面都不能满足应用的需求。由于FPGA计算资源丰富、灵活可配、开发周期短,越来越多研究者开始采用FPGA开发基于卷积神经网络的应用。本文根据卷积神经网络基本模型,从运算效率与数据重用两个角度分析了卷积运算的并行特征,并研究了激活函数的实现方式。以此为基础,设计了基于FPGA的卷积网络加速器。该加速器为主机+FPGA模式,采用流水结构提升运行效率；充分利用多种卷积运算并行性以平衡运算效率和数据载入带宽的需求；通过PWL逼近实现激活函数,兼顾了灵活性和资源消耗。在手写数字识别的实验中,该加速器每周期最多运行36次乘累加,在75M的频率下,峰值运算速率可达到0.915GMAC/s,相比通用CPU可实现5.65倍的加速,而功耗仅为通用CPU的3.07%。
【关键词】：卷积神经网络 FPGA 加速 并行 流水
【学位授予单位】：浙江大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP183;TN791
【目录】：

• 致谢4-5
• 摘要5-6
• ABSTRACT6-9
• 第一章 绪论9-14
• 1.1 课题研究背景及意义9
• 1.2 国内外研究现状9-12
• 1.2.1 卷积神经网络应用9-11
• 1.2.2 卷积神经网络实现方式11-12
• 1.3 本文主要工作与内容安排12-14
• 第二章 卷积神经网络计算模型分析14-34
• 2.1 卷积神经网络前向传播模型14-17
• 2.2 卷积计算并行性分析17-32
• 2.2.1 卷积计算并行性18-19
• 2.2.2 卷积窗口内部并行实现分析19-21
• 2.2.3 相同特征图卷积窗口间并行实现分析21-25
• 2.2.4 不同输入特征图卷积窗口并行25-27
• 2.2.5 输出特征图并行27-29
• 2.2.6 并行性组合29-32
• 2.3 激活函数实现分析32-33
• 2.4 本章小结33-34
• 第三章 基于FPGA的加速器设计34-48
• 3.1 整体框架34
• 3.2 通用的卷积运算单元34-45
• 3.2.1 基本结构35-36
• 3.2.2 基本运算实现过程36-37
• 3.2.3 缓存结构37-40
• 3.2.4 并行度提升40-43
• 3.2.5 全连接层优化43-45
• 3.3 激活函数45
• 3.4 CNN计算单元完整流水线45-46
• 3.5 本章小结46-48
• 第四章 实验与结果分析48-53
• 4.1 实验应用及网络结构48-49
• 4.1.1 MNIST手写数字数据库48
• 4.1.2 手写数字字符识别网络48-49
• 4.2 实验平台与实验环境49
• 4.3 实验实现结构49-51
• 4.4 实验结果分析51-52
• 4.5 本章小结52-53
• 第五章 结论53-54
• 参考文献54-57
• 攻读学位期间发表的论文57

【相似文献】

中国期刊全文数据库 前10条

1 云中客;新的神经网络来自于仿生学[J];物理;2001年10期

2 唐春明,高协平;进化神经网络的研究进展[J];系统工程与电子技术;2001年10期

3 李智;一种基于神经网络的煤炭调运优化方法[J];长沙铁道学院学报;2003年02期

4 程科,王士同,杨静宇;新型模糊形态神经网络及其应用研究[J];计算机工程与应用;2004年21期

5 王凡,孟立凡;关于使用神经网络推定操作者疲劳的研究[J];人类工效学;2004年03期

6 周丽晖;从统计角度看神经网络[J];统计教育;2005年06期

7 赵奇 ,刘开第 ,庞彦军;灰色补偿神经网络及其应用研究[J];微计算机信息;2005年14期

8 袁婷;;神经网络在股票市场预测中的应用[J];软件导刊;2006年05期

9 尚晋;杨有;;从神经网络的过去谈科学发展观[J];重庆三峡学院学报;2006年03期

10 杨钟瑾;;神经网络的过去、现在和将来[J];青年探索;2006年04期

中国重要会议论文全文数据库 前10条

1 徐春玉;;基于泛集的神经网络的混沌性[A];1996中国控制与决策学术年会论文集[C];1996年

2 周树德;王岩;孙增圻;孙富春;;量子神经网络[A];2003年中国智能自动化会议论文集（上册）[C];2003年

3 罗山;张琳;范文新;;基于神经网络和简单规划的识别融合算法[A];2009系统仿真技术及其应用学术会议论文集[C];2009年

4 郭爱克;马尽文;丁康;;序言(二)[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年

5 钟义信;;知识论:神经网络的新机遇——纪念中国神经网络10周年[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年

6 许进;保铮;;神经网络与图论[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年

7 金龙;朱诗武;赵成志;陈宁;;数值预报产品的神经网络释用预报应用[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年

8 田金亭;;神经网络在中学生创造力评估中的应用[A];第十二届全国心理学学术大会论文摘要集[C];2009年

9 唐墨;王科俊;;自发展神经网络的混沌特性研究[A];2009年中国智能自动化会议论文集（第七分册）[南京理工大学学报（增刊）][C];2009年

10 张广远;万强;曹海源;田方涛;;基于遗传算法优化神经网络的故障诊断方法研究[A];第十二届全国设备故障诊断学术会议论文集[C];2010年

中国重要报纸全文数据库 前10条

1 美国明尼苏达大学社会学博士 密西西比州立大学国家战略规划与分析研究中心资深助理研究员 陈心想;维护好创新的“神经网络硬件”[N];中国教师报;2014年

2 卢业忠;脑控电脑 惊世骇俗[N];计算机世界;2001年

3 葛一鸣 路边文;人工神经网络将大显身手[N];中国纺织报;2003年

4 中国科技大学计算机系　邢方亮;神经网络挑战人类大脑[N];计算机世界;2003年

5 记者 孙刚;“神经网络”：打开复杂工艺“黑箱”[N];解放日报;2007年

6 本报记者 刘霞;美用DNA制造出首个人造神经网络[N];科技日报;2011年

7 健康时报特约记者　 张献怀;干细胞移植：修复受损的神经网络[N];健康时报;2006年

8 刘力;我半导体神经网络技术及应用研究达国际先进水平[N];中国电子报;2001年

9 ;神经网络和模糊逻辑[N];世界金属导报;2002年

10 邹丽梅 陈耀群;江苏科大神经网络应用研究通过鉴定[N];中国船舶报;2006年

中国博士学位论文全文数据库 前10条

1 杨旭华;神经网络及其在控制中的应用研究[D];浙江大学;2004年

2 李素芳;基于神经网络的无线通信算法研究[D];山东大学;2015年

3 石艳超;忆阻神经网络的混沌性及几类时滞神经网络的同步研究[D];电子科技大学;2014年

4 王新迎;基于随机映射神经网络的多元时间序列预测方法研究[D];大连理工大学;2015年

5 付爱民;极速学习机的训练残差、稳定性及泛化能力研究[D];中国农业大学;2015年

6 李辉;基于粒计算的神经网络及集成方法研究[D];中国矿业大学;2015年

7 王卫苹;复杂网络几类同步控制策略研究及稳定性分析[D];北京邮电大学;2015年

8 张海军;基于云计算的神经网络并行实现及其学习方法研究[D];华南理工大学;2015年

9 李艳晴;风速时间序列预测算法研究[D];北京科技大学;2016年

10 曾U喺

本文编号：266221