深度神经网络压缩与优化研究

发布时间：2020-01-18 14:13

【摘要】：深度学习是近年来机器学习领域最有影响力的研究方向,在计算机视觉、自然语言处理的许多问题上都取得了突出的效果。深度学习的本质是大数据支撑下,由多层人工神经网络堆叠形成的信号处理系统,具有参数数目多,计算复杂度高等特点。深度学习的训练和运行都需要大量的运行空间与并行计算设备,这些需求阻碍了深度学习在资源有限的设备,如手机、平板电脑和嵌入式设备上的应用。另一方面,神经网络中普遍存在过参数化的问题,对于一个具体任务而言,网络的参数存在着极大的冗余。深度网络压缩是解决此类问题的关键技术。本文属于深度网络压缩的研究方向,其主要工作有:1.神经网络压缩方法归纳总结在对深度学习的发展现状和主要方法、模型、技巧做了介绍后,我们广泛研究了当前的神经网络压缩的方法,并将当前的网络压缩方法归纳为“近似”、“量化”与“裁剪”三种类型。近似类算法依靠张量分解为网络参数寻找开销更小的表示方法,量化类方法将网络参数从实数域映射到有限集合,实现参数共享,裁剪类方法检测和删除网络中的冗余层、冗余神经元或冗余神经连接,将直接改变网络的结构。2.神经元贡献评价与消偏我们针对神经元级的裁剪进行研究,首先我们通过特征图可视化的方法展示了网络中存在的冗余现象。随后,我们从前人工作中推广出三种用于评价神经元贡献度的方法。这些方法能够在逐层的网络裁剪中使用,但在全局裁剪中,当把不同层的神经元评分统一考虑时,存在显著的系统性偏差。我们提出了一种简单的消偏方法,使得全局神经网络裁剪成为可能。3.渐次全局神经元裁剪框架与实现基于消偏后的神经元评分,我们提出一种渐次的全局网络裁剪框架。与逐层裁剪相比,该框架避免了网络裁剪时确定各个层中冗余神经元数目的难题,大大降低了裁剪所需要的微调轮数,并能够在给定的性能指标下逐渐逼近网络的近似最优结构。在实验部分,我们基于开源深度学习框架Keras实现了所提出的算法,并设计一系列实验验证了所提方法的有效性。
【学位授予单位】：电子科技大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：TP18

【相似文献】

相关期刊论文 前10条

1 杨晓帅 ,付玫;神经网络技术让管理更轻松[J];软件世界;2000年11期

2 云中客;新的神经网络来自于仿生学[J];物理;2001年10期

3 唐春明,高协平;进化神经网络的研究进展[J];系统工程与电子技术;2001年10期

4 李智;一种基于神经网络的煤炭调运优化方法[J];长沙铁道学院学报;2003年02期

5 程科,王士同,杨静宇;新型模糊形态神经网络及其应用研究[J];计算机工程与应用;2004年21期

6 王凡,孟立凡;关于使用神经网络推定操作者疲劳的研究[J];人类工效学;2004年03期

7 周丽晖;从统计角度看神经网络[J];统计教育;2005年06期

8 赵奇 ,刘开第 ,庞彦军;灰色补偿神经网络及其应用研究[J];微计算机信息;2005年14期

9 袁婷;;神经网络在股票市场预测中的应用[J];软件导刊;2006年05期

10 尚晋;杨有;;从神经网络的过去谈科学发展观[J];重庆三峡学院学报;2006年03期

相关会议论文 前10条

1 徐春玉;;基于泛集的神经网络的混沌性[A];1996中国控制与决策学术年会论文集[C];1996年

2 周树德;王岩;孙增圻;孙富春;;量子神经网络[A];2003年中国智能自动化会议论文集（上册）[C];2003年

3 罗山;张琳;范文新;;基于神经网络和简单规划的识别融合算法[A];2009系统仿真技术及其应用学术会议论文集[C];2009年

4 郭爱克;马尽文;丁康;;序言(二)[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年

5 钟义信;;知识论:神经网络的新机遇——纪念中国神经网络10周年[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年

6 许进;保铮;;神经网络与图论[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年

7 金龙;朱诗武;赵成志;陈宁;;数值预报产品的神经网络释用预报应用[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年

8 田金亭;;神经网络在中学生创造力评估中的应用[A];第十二届全国心理学学术大会论文摘要集[C];2009年

9 唐墨;王科俊;;自发展神经网络的混沌特性研究[A];2009年中国智能自动化会议论文集（第七分册）[南京理工大学学报（增刊）][C];2009年

10 张广远;万强;曹海源;田方涛;;基于遗传算法优化神经网络的故障诊断方法研究[A];第十二届全国设备故障诊断学术会议论文集[C];2010年

相关重要报纸文章 前10条

1 美国明尼苏达大学社会学博士 密西西比州立大学国家战略规划与分析研究中心资深助理研究员 陈心想;维护好创新的“神经网络硬件”[N];中国教师报;2014年

2 卢业忠;脑控电脑 惊世骇俗[N];计算机世界;2001年

3 葛一鸣 路边文;人工神经网络将大显身手[N];中国纺织报;2003年

4 中国科技大学计算机系　邢方亮;神经网络挑战人类大脑[N];计算机世界;2003年

5 记者 孙刚;“神经网络”：打开复杂工艺“黑箱”[N];解放日报;2007年

6 本报记者 刘霞;美用DNA制造出首个人造神经网络[N];科技日报;2011年

7 健康时报特约记者　 张献怀;干细胞移植：修复受损的神经网络[N];健康时报;2006年

8 刘力;我半导体神经网络技术及应用研究达国际先进水平[N];中国电子报;2001年

9 ;神经网络和模糊逻辑[N];世界金属导报;2002年

10 邹丽梅 陈耀群;江苏科大神经网络应用研究通过鉴定[N];中国船舶报;2006年

相关博士学位论文 前10条

1 杨旭华;神经网络及其在控制中的应用研究[D];浙江大学;2004年

2 李素芳;基于神经网络的无线通信算法研究[D];山东大学;2015年

3 石艳超;忆阻神经网络的混沌性及几类时滞神经网络的同步研究[D];电子科技大学;2014年

4 王新迎;基于随机映射神经网络的多元时间序列预测方法研究[D];大连理工大学;2015年

5 付爱民;极速学习机的训练残差、稳定性及泛化能力研究[D];中国农业大学;2015年

6 李辉;基于粒计算的神经网络及集成方法研究[D];中国矿业大学;2015年

7 王卫苹;复杂网络几类同步控制策略研究及稳定性分析[D];北京邮电大学;2015年

8 张海军;基于云计算的神经网络并行实现及其学习方法研究[D];华南理工大学;2015年

9 李艳晴;风速时间序列预测算法研究[D];北京科技大学;2016年

10 陈辉;多维超精密定位系统建模与控制关键技术研究[D];东南大学;2015年

相关硕士学位论文 前10条

1 王征韬;深度神经网络压缩与优化研究[D];电子科技大学;2017年

2 章颖;混合不确定性模块化神经网络与高校效益预测的研究[D];华南理工大学;2015年

3 贾文静;基于改进型神经网络的风力发电系统预测及控制研究[D];燕山大学;2015年

4 李慧芳;基于忆阻器的涡卷混沌系统及其电路仿真[D];西南大学;2015年

5 陈彦至;神经网络降维算法研究与应用[D];华南理工大学;2015年

6 董哲康;基于忆阻器的组合电路及神经网络研究[D];西南大学;2015年

7 武创举;基于神经网络的遥感图像分类研究[D];昆明理工大学;2015年

8 李志杰;基于神经网络的上证指数预测研究[D];华南理工大学;2015年

9 陈少吉;基于神经网络血压预测研究与系统实现[D];华南理工大学;2015年

10 张韬;几类时滞神经网络稳定性分析[D];渤海大学;2015年

，

本文编号：2570872