基于深度卷积神经网络的移动端花卉识别系统
发布时间：2021-05-09 09:55
随着高性能计算芯片的发展,在移动设备上部署深度学习模型成为了当今的热门。卷积神经网络（简称CNN）作为深度学习技术的一种,由于其能够自适应地学习并组合出有效的特征,非常适用于花卉识别这种较难的细粒度图像分类范畴。CNN通常有上百万个计算节点与参数,这意味着硬件设施要有较强的算力与较大的存储资源。然而在边缘计算中（比如移动端和嵌入式平台）,设备的计算能力较低,内存也较小,因此部署起来有较大难度。论文围绕移动端CNN的部署和优化展开研究,探索了一系列技术来使花卉识别模型尺寸更小、预测时间更短、识别精度更高。论文的主要工作包括:（1）模型选择方面,详细分析了CNN的演变和网络结构,以及各种经典的CNN架构。接着从CNN的时间复杂度和空间复杂度入手,选择了尺度、速度和精度都取得了较好权衡的轻量级CNN20MobileNet-V2。（2）模型训练和优化方面,通过对CNN的训练流程和常用优化算法进行分析,提出了一种结合Momentum的RMSProp优化算法,和其它优化算法相比,该算法在相同的迭代轮数内,损失函数下降得更快,正确率上升得更高,更快寻找到最优解。另外本文采用同步模式的双GPU并行训练...
【文章来源】：华侨大学福建省
【文章页数】：83 页
【学位级别】：硕士
【文章目录】：
摘要
abstract
第1章 绪论
1.1 研究背景及意义
1.2 国内外研究现状
1.2.1 数据集的选择
1.2.2 传统机器学习方法
1.2.3 深度学习方法
1.2.4 深度学习模型的压缩与量化
1.3 论文的组织结构
第2章 深度卷积神经网络的相关技术
2.1 全连接神经网络
2.2 卷积神经网络
2.2.1 卷积层
2.2.2 池化层
2.2.3 全连接层
2.2.4 Batch Normalization层
2.2.5 Softmax层
2.2.6 经典卷积神经网络
2.3 面向移动端的轻量级卷积神经网络
2.3.1 轻量级卷积神经网络的复杂度分析
2.3.2 MobileNet-V
2.4 本章小结
第3章 改进的深度神经网络优化算法和训练策略
3.1 深度神经网络的训练流程
3.1.1 特征学习
3.1.2 损失函数
3.1.3 梯度下降算法
3.1.4 反向传播算法
3.1.5 过拟合现象
3.2 改进的深度神经网络优化算法
3.2.1 常用深度神经网络优化算法
3.2.2 结合Momentum的 RMSProp优化算法
3.3 深度神经网络的训练策略
3.3.1 同步模式多GPU并行训练
3.3.2 迁移学习
3.3.3 数据增强
3.3.4 正则化
3.4 本章小结
第4章 高效8-bit整数运算神经网络
4.1 高效8-bit整数运算神经网络量化方案
4.1.1 神经网络权值分布特征
4.1.2 均匀仿射量化
4.1.3 卷积计算转化为矩阵乘法
4.1.4 量化的整数运算矩阵乘法
4.1.5 典型的融合层实现
4.1.6 模拟量化训练
4.2 本章小结
第5章 实验设计与结果分析
5.1 评估数据集
5.2 实验环境
5.2.1 基于TensorFlow的主机训练平台
5.2.2 基于TensorFlow Lite的移动端开发
5.3 改进的深度神经网络优化算法和训练策略实验
5.3.1 结合Momentum的 RMSProp优化算法与其他优化算法对比
5.3.2 双GPU并行训练与单GPU训练对比
5.3.3 不同的训练策略对最终精度的影响
5.4 8-bit 模型量化实验
5.4.1 未模拟量化训练
5.4.2 模拟量化训练
5.5 与其它花卉识别模型的对比实验
5.6 移动端效果图
5.7 本章小结
第6章 总结与展望
6.1 主要工作与总结
6.2 工作展望
参考文献
致谢
附录A 实验开源代码
个人简历、在学期间发表的学术论文与研究成果
本文编号：3177095
【文章来源】：华侨大学福建省
【文章页数】：83 页
【学位级别】：硕士
【文章目录】：
摘要
abstract
第1章 绪论
1.1 研究背景及意义
1.2 国内外研究现状
1.2.1 数据集的选择
1.2.2 传统机器学习方法
1.2.3 深度学习方法
1.2.4 深度学习模型的压缩与量化
1.3 论文的组织结构
第2章 深度卷积神经网络的相关技术
2.1 全连接神经网络
2.2 卷积神经网络
2.2.1 卷积层
2.2.2 池化层
2.2.3 全连接层
2.2.4 Batch Normalization层
2.2.5 Softmax层
2.2.6 经典卷积神经网络
2.3 面向移动端的轻量级卷积神经网络
2.3.1 轻量级卷积神经网络的复杂度分析
2.3.2 MobileNet-V
2.4 本章小结
第3章 改进的深度神经网络优化算法和训练策略
3.1 深度神经网络的训练流程
3.1.1 特征学习
3.1.2 损失函数
3.1.3 梯度下降算法
3.1.4 反向传播算法
3.1.5 过拟合现象
3.2 改进的深度神经网络优化算法
3.2.1 常用深度神经网络优化算法
3.2.2 结合Momentum的 RMSProp优化算法
3.3 深度神经网络的训练策略
3.3.1 同步模式多GPU并行训练
3.3.2 迁移学习
3.3.3 数据增强
3.3.4 正则化
3.4 本章小结
第4章 高效8-bit整数运算神经网络
4.1 高效8-bit整数运算神经网络量化方案
4.1.1 神经网络权值分布特征
4.1.2 均匀仿射量化
4.1.3 卷积计算转化为矩阵乘法
4.1.4 量化的整数运算矩阵乘法
4.1.5 典型的融合层实现
4.1.6 模拟量化训练
4.2 本章小结
第5章 实验设计与结果分析
5.1 评估数据集
5.2 实验环境
5.2.1 基于TensorFlow的主机训练平台
5.2.2 基于TensorFlow Lite的移动端开发
5.3 改进的深度神经网络优化算法和训练策略实验
5.3.1 结合Momentum的 RMSProp优化算法与其他优化算法对比
5.3.2 双GPU并行训练与单GPU训练对比
5.3.3 不同的训练策略对最终精度的影响
5.4 8-bit 模型量化实验
5.4.1 未模拟量化训练
5.4.2 模拟量化训练
5.5 与其它花卉识别模型的对比实验
5.6 移动端效果图
5.7 本章小结
第6章 总结与展望
6.1 主要工作与总结
6.2 工作展望
参考文献
致谢
附录A 实验开源代码
个人简历、在学期间发表的学术论文与研究成果
本文编号：3177095
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3177095.html
