深度神经网络架构改进和训练性能提升的研究

发布时间：2017-04-22 17:49

  本文关键词：深度神经网络架构改进和训练性能提升的研究，由笔耕文化传播整理发布。

【摘要】：深度学习技术在人工智能领域已经被应用到各行各业中,为人们提供更加智能信息资源。通过组合多种类型的网络层,形成深度神经网络模型,逐层对原始数据计算,利用反向传播算法学习对数据越来越抽象的表示形式,从而提高诸如目标检测、图像分类等任务的精确度。深度学习技术提高分类任务识别精确度的关键在于深度神经网络的网络层深度是否适当,类型是否丰富,网络结构是否合理,训练效率是否可接受等方面。为了提高深度神经网络对图像分类的精确度,本文分别从深度神经网络的网络结构和网络训练效率两方面提出了新的思路,并进行了验证。网络结构方面,本文提出了一种基于多个图像特征提取网络模型的深度神经网络,通过将数据特征抽象阶段的网络层分成多个计算路径,各个计算路径相互不干涉,分别同时对相同的训练样本数据进行特征抽象计算,利用反向传播算法对各个路径对应的模型参数进行微调,学习图像特征,并输出对候选图像类型的预测概率分布。同时,为了丰富特征提取网络模型的种类,还设计了一种基于自编码器的特征提取网络模型,与经典卷积神经网络一起构成了本文的多路特征提取网络模型。经过特征提取阶段,对应得到多组预测概率分布,并输入至本文设计的误差分析网络中,综合考虑每组数值,经过一系列网络层的计算变换,最终给出更加接近真实标签的预测概率值,达到提高预测精确度的目的。网络的训练效率方面,本文通过把多路训练网络计算过程中超出计算机内存的部分中间计算结果临时放在指定磁盘空间,避免系统无规则的数据交换,同时改进操作系统底层的I/O调度算法,引入遗传算法的思想,独立维护I/O调度算法的关键参数,使其能够根据上层应用的实际I/O压力,动态地筛选出最佳的参数组合,从而提升系统对I/O请求调度的能力。同时,本文还设计构建了一个可靠的操作系统环境,以确保多路训练网络在该环境下训练时测试得到的I/O压力数据的有效性。
【关键词】：深度学习 网络层设计 误差分析 I/O调度
【学位授予单位】：中北大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP391.41;TP183
【目录】：

• 摘要4-5
• Abstract5-9
• 1 绪论9-22
• 1.1 论文选题依据、研究背景及意义9-12
• 1.1.1 选题依据9
• 1.1.2 研究背景和问题的提出9-12
• 1.2 相关领域国内外发展现状12-17
• 1.2.1 深度学习技术方面12-16
• 1.2.2 计算机I/O性能方面16-17
• 1.3 论文主要研究内容及安排17-21
• 1.3.1 主要研究内容17-18
• 1.3.2 论文组织结构18-21
• 1.4 本章小结21-22
• 2 深度学习技术理论22-41
• 2.1 监督学习22-23
• 2.2 反向传播算法23-26
• 2.3 多层神经网络26-29
• 2.4 卷积神经网络29-35
• 2.4.1 网络结构30-35
• 2.4.2 模型参数的调整35
• 2.5 自编码器35-40
• 2.6 本章小结40-41
• 3 网络模型改进及其性能优化41-66
• 3.1 多路训练网络模型的设计41-54
• 3.1.1 网络结构的设计41-51
• 3.1.2 误差分析方法的设计51-54
• 3.2 训练性能的优化54-64
• 3.2.1 性能优化的必要性54
• 3.2.2 实验环境的设计54-59
• 3.2.3 I/O性能优化方法的设计59-64
• 3.3 本章小结64-66
• 4 实验与验证66-79
• 4.1 网络模型的有效性验证与分析66-74
• 4.2 训练性能改进的验证74-78
• 4.3 本章小结78-79
• 5 总结与展望79-81
• 5.1 总结79-80
• 5.2 展望80-81
• 参考文献81-90
• 攻读硕士学位期间发表的论文及所取得的研究成果90-91
• 致谢91-92

【参考文献】

中国期刊全文数据库 前4条

1 马永杰;云文霞;;遗传算法研究进展[J];计算机应用研究;2012年04期

2 喻寿益;邝溯琼;;保留精英遗传算法收敛性和收敛速度的鞅方法分析[J];控制理论与应用;2010年07期

3 巩敦卫;郝国生;严玉若;;交互式遗传算法基于用户认知不确定性的定向变异[J];控制与决策;2010年01期

4 梁昔明;朱灿;颜东煌;;基于物种选择的遗传算法求解约束非线性规划问题[J];中南大学学报(自然科学版);2009年01期

中国硕士学位论文全文数据库 前1条

1 刘硕;高清视频服务器磁盘I/O调度算法的研究[D];厦门大学;2014年

  本文关键词：深度神经网络架构改进和训练性能提升的研究，，由笔耕文化传播整理发布。

本文编号：320876