基于FPGA的大规模脉冲深度神经网络片上系统设计与研究

发布时间：2017-04-11 00:32

  本文关键词：基于FPGA的大规模脉冲深度神经网络片上系统设计与研究，由笔耕文化传播整理发布。

【摘要】：自深度神经网络被提出以来,就因其在处理实际问题中所表现的优秀性能而成为人工神经网络的主流研究方向。但是,随着深度神经网络研究的不断深入以及处理问题的复杂度不断增加,深度神经网络的网络规模和网络计算复杂度也随之成倍提升。总体来说,在深度神经网络的计算中存在着存储复杂度高,计算复杂度高,数据传输带宽大的挑战。论文的研究目的是设计一种面向嵌入式系统的深度神经网络计算协处理器,用以实现低功耗,高效的大规模深度神经网络实时计算。论文通过对包括对深度置信网络和卷积神经网络两种网络模型的主流神经网络模型中存在的计算和存储复杂的问题进行研究,提出了一种面向硬件友好的脉冲深度神经网络模型及其训练算法,并且据此设计了一种基于片上系统的,具有可扩展性和一致性的高速脉冲深度神经网络计算协处理器。论文的主要研究成果如下:(1)提出了一种脉冲驱动的深度神经网络模型及其训练算法。论文通过综合分析具有较强实际问题处理能力的深度神经网络模型以及在硬件实现中具有易于实现和低功耗特点的脉冲神经网络模型,提出了包含脉冲深度置信网络和脉冲卷积神经网络在内的脉冲深度神经网络模型及其训练算法。(2)设计了一种通用的脉冲深度神经网络存储和计算硬件架构。为了实现兼容脉冲深度置信网络和脉冲卷积神经网络两种网络模型的存储和计算,论文提出了将两种网络模型转换得到一致的稀疏前馈网络结构,然后设计了一种基于索引查找表的一致性硬件架构来实现对转换后的脉冲深度神经网络进行计算,并且在硬件架构设计中引入了层次化流水和低功耗的硬件优化设计来提高硬件的计算效率,降低硬件的计算功耗。(3)设计实现了一种基于Xilinx片上系统的,针对脉冲深度神经网络的,具有一致性、低功耗特性的脉冲深度神经网络计算协处理器,并对其进行综合验证分析,最终实现了原型系统的设计与验证。
【关键词】：脉冲深度神经网络 索引查找表 片上系统 协处理器
【学位授予单位】：重庆大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP183;TN791
【目录】：

• 中文摘要3-4
• 英文摘要4-7
• 1 绪论7-13
• 1.1 引言7
• 1.2 研究背景及意义7-8
• 1.3 研究现状8-11
• 1.3.1 专用加速计算硬件研究8-9
• 1.3.2 脉冲神经网络硬件实现9-11
• 1.4 研究内容及章节安排11-13
• 2 脉冲深度神经网络13-33
• 2.1 主流深度神经网络模型与算法13-17
• 2.1.1 深度置信网络模型与算法13-15
• 2.1.2 卷积神经网络模型与算法15-17
• 2.2 脉冲神经网络模型17-22
• 2.2.1 脉冲响应模型19
• 2.2.2 累积释放模型19-21
• 2.2.3 脉冲神经网络模型21-22
• 2.3 脉冲深度置信网络与算法22-28
• 2.3.1 脉冲深度置信网络模型22-25
• 2.3.2 脉冲深度置信网络训练算法25-28
• 2.4 脉冲卷积神经网络与算法28-33
• 2.4.1 脉冲卷积神经网络模型28-30
• 2.4.2 脉冲卷积神经网络训练算法30-33
• 3 脉冲深度神经网络硬件架构设计33-47
• 3.1 硬件架构设计思路与指标33-34
• 3.1.1 硬件架构设计思路33
• 3.1.2 硬件架构设计关键指标33-34
• 3.2 索引查找表结构34-38
• 3.2.1 稀疏前馈型脉冲深度神经网络结构34-36
• 3.2.2 基于索引查找表的网络存储结构36-38
• 3.3 脉冲深度神经网络计算协处理器架构38-40
• 3.3.1 脉冲神经网络处理单元38-39
• 3.3.2 脉冲深度神经网络计算协处理器架构39-40
• 3.4 多层次流水线设计40-45
• 3.4.1 协处理器顶层流水线设计40-41
• 3.4.2 脉冲神经网络处理单元内部流水线设计41-44
• 3.4.3 底层子模块流水线设计44-45
• 3.5 低功耗设计45-47
• 4 脉冲深度神经网络计算协处理器硬件设计47-61
• 4.1 脉冲深度神经网络计算协处理器顶层设计47-48
• 4.2 脉冲神经网络处理单元设计与验证48-56
• 4.2.1 脉冲神经网络计算单元49-50
• 4.2.2 事件地址表控制器模块50-51
• 4.2.3 权值参数表控制器模块51-53
• 4.2.4 乘累加计算模块53-54
• 4.2.5 阈值函数计算模块54-55
• 4.2.6 单元工作状态控制模块55-56
• 4.3 综合仿真结果及分析56-61
• 5 协处理器原型系统设计与实现61-69
• 5.1 原型系统设计61-65
• 5.1.1 原型系统平台61-62
• 5.1.2 原型系统软件设计62-64
• 5.1.3 原型系统集成64-65
• 5.2 原型系统功能验证和性能测试65-67
• 5.3 基于深度学习网络的视觉辅助驾驶系统67-69
• 6 总结与展望69-71
• 6.1 工作总结69-70
• 6.2 工作展望70-71
• 致谢71-73
• 参考文献73-77
• 附录77
• A. 作者在攻读学位期间申请的专利77
• B. 作者在攻读学位期间的获奖情况77

【相似文献】

中国期刊全文数据库 前10条

1 云中客;新的神经网络来自于仿生学[J];物理;2001年10期

2 唐春明,高协平;进化神经网络的研究进展[J];系统工程与电子技术;2001年10期

3 李智;一种基于神经网络的煤炭调运优化方法[J];长沙铁道学院学报;2003年02期

4 程科,王士同,杨静宇;新型模糊形态神经网络及其应用研究[J];计算机工程与应用;2004年21期

5 王凡,孟立凡;关于使用神经网络推定操作者疲劳的研究[J];人类工效学;2004年03期

6 周丽晖;从统计角度看神经网络[J];统计教育;2005年06期

7 赵奇 ,刘开第 ,庞彦军;灰色补偿神经网络及其应用研究[J];微计算机信息;2005年14期

8 袁婷;;神经网络在股票市场预测中的应用[J];软件导刊;2006年05期

9 尚晋;杨有;;从神经网络的过去谈科学发展观[J];重庆三峡学院学报;2006年03期

10 杨钟瑾;;神经网络的过去、现在和将来[J];青年探索;2006年04期

中国重要会议论文全文数据库 前10条

1 徐春玉;;基于泛集的神经网络的混沌性[A];1996中国控制与决策学术年会论文集[C];1996年

2 周树德;王岩;孙增圻;孙富春;;量子神经网络[A];2003年中国智能自动化会议论文集（上册）[C];2003年

3 罗山;张琳;范文新;;基于神经网络和简单规划的识别融合算法[A];2009系统仿真技术及其应用学术会议论文集[C];2009年

4 郭爱克;马尽文;丁康;;序言(二)[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年

5 钟义信;;知识论:神经网络的新机遇——纪念中国神经网络10周年[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年

6 许进;保铮;;神经网络与图论[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年

7 金龙;朱诗武;赵成志;陈宁;;数值预报产品的神经网络释用预报应用[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年

8 田金亭;;神经网络在中学生创造力评估中的应用[A];第十二届全国心理学学术大会论文摘要集[C];2009年

9 唐墨;王科俊;;自发展神经网络的混沌特性研究[A];2009年中国智能自动化会议论文集（第七分册）[南京理工大学学报（增刊）][C];2009年

10 张广远;万强;曹海源;田方涛;;基于遗传算法优化神经网络的故障诊断方法研究[A];第十二届全国设备故障诊断学术会议论文集[C];2010年

中国重要报纸全文数据库 前10条

1 美国明尼苏达大学社会学博士 密西西比州立大学国家战略规划与分析研究中心资深助理研究员 陈心想;维护好创新的“神经网络硬件”[N];中国教师报;2014年

2 卢业忠;脑控电脑 惊世骇俗[N];计算机世界;2001年

3 葛一鸣 路边文;人工神经网络将大显身手[N];中国纺织报;2003年

4 中国科技大学计算机系　邢方亮;神经网络挑战人类大脑[N];计算机世界;2003年

5 记者 孙刚;“神经网络”：打开复杂工艺“黑箱”[N];解放日报;2007年

6 本报记者 刘霞;美用DNA制造出首个人造神经网络[N];科技日报;2011年

7 健康时报特约记者　 张献怀;干细胞移植：修复受损的神经网络[N];健康时报;2006年

8 刘力;我半导体神经网络技术及应用研究达国际先进水平[N];中国电子报;2001年

9 ;神经网络和模糊逻辑[N];世界金属导报;2002年

10 邹丽梅 陈耀群;江苏科大神经网络应用研究通过鉴定[N];中国船舶报;2006年

中国博士学位论文全文数据库 前10条

1 杨旭华;神经网络及其在控制中的应用研究[D];浙江大学;2004年

2 李素芳;基于神经网络的无线通信算法研究[D];山东大学;2015年

3 石艳超;忆阻神经网络的混沌性及几类时滞神经网络的同步研究[D];电子科技大学;2014年

4 王新迎;基于随机映射神经网络的多元时间序列预测方法研究[D];大连理工大学;2015年

5 付爱民;极速学习机的训练残差、稳定性及泛化能力研究[D];中国农业大学;2015年

6 李辉;基于粒计算的神经网络及集成方法研究[D];中国矿业大学;2015年

7 王卫苹;复杂网络几类同步控制策略研究及稳定性分析[D];北京邮电大学;2015年

8 张海军;基于云计算的神经网络并行实现及其学习方法研究[D];华南理工大学;2015年

9 李艳晴;风速时间序列预测算法研究[D];北京科技大学;2016年

10 陈辉;多维超精密定位系统建模与控制关键技术研究[D];东南大学;2015年

中国硕士学位论文全文数据库 前10条

1 章颖;混合不确定性模块化神经网络与高校效益预测的研究[D];华南理工大学;2015年

2 贾文静;基于改进型神经网络的风力发电系统预测及控制研究[D];燕山大学;2015年

3 李慧芳;基于忆阻器的涡卷混沌系统及其电路仿真[D];西南大学;2015年

4 陈彦至;神经网络降维算法研究与应用[D];华南理工大学;2015年

5 董哲康;基于忆阻器的组合电路及神经网络研究[D];西南大学;2015年

6 武创举;基于神经网络的遥感图像分类研究[D];昆明理工大学;2015年

7 李志杰;基于神经网络的上证指数预测研究[D];华南理工大学;2015年

8 陈少吉;基于神经网络血压预测研究与系统实现[D];华南理工大学;2015年

9 张韬;几类时滞神经网络稳定性分析[D];渤海大学;2015年

10 邵雪莹;几类时滞不确定神经网络的稳定性分析[D];渤海大学;2015年

  本文关键词：基于FPGA的大规模脉冲深度神经网络片上系统设计与研究，由笔耕文化传播整理发布。

，

本文编号：297855