一种基于模拟退火算法改进的卷积神经网络

发布时间：2018-01-17 18:22

  本文关键词：一种基于模拟退火算法改进的卷积神经网络　出处：《微电子学与计算机》2017年09期 　论文类型：期刊论文

  更多相关文章： 卷积神经网络 模拟退火算法 交叉熵 图像识别

【摘要】：卷积神经网络(CNN)是一种深度学习技术,其目标是构建一个接近人类的智能来执行任何知识的任务.使用基于交叉熵损失函数的模拟退火算法对dropout正则化,即有些单元值被抑制的CNN进行优化训练,而在测试阶段所使用的模型平均方法则同时考虑了保留概率和池化区域内单元值所占概率.在MNIST手写数据库和CMU-PIE的部分图像库的实验结果表明,在同一CNN结构和相同迭代次数时,此方法均优于其他方法,不仅能够得到更好的识别率而且更能防止过拟合的问题.
[Abstract]:Convolution Neural Network (CNN) is a kind of deep learning technology. The goal is to construct a human intelligence to perform any knowledge task. The dropout is regularized by simulated annealing algorithm based on cross-entropy loss function. That is, some unit values are suppressed by the CNN for optimization training. The model averaging method used in the test phase takes into account both the retention probability and the probability of cell values in the pool area. The experimental results in MNIST handwritten database and part of the image library of CMU-PIE. To show. In the same CNN structure and the same iteration number, this method is superior to other methods, which can not only obtain better recognition rate but also prevent the problem of over-fitting.
【作者单位】： 江南大学数字媒体学院;
【基金】：国家自然科学基金(61373055) 江苏省2015年度普通高校研究生科研创新计划项目(KYLX15_1191)
【分类号】：TP183;TP391.41
【正文快照】： 1引言深度学习中的一个主要模型就是卷积神经网络(CNN),CNN包括卷积层和池化层,其中卷积层中不同的卷积核可用来提取不同的图像特征,池化层用来降低特征的维数.现代启发式算法主要解决科学、工程等方面的优化问题,将其用于优化DL的研究成果还很少,You和Pu[1]将遗传算法与CNN相

【相似文献】

相关期刊论文 前10条

1 旷章辉;王甲海;周雅兰;;用改进的竞争Hopfield神经网络求解多边形近似问题[J];计算机科学;2009年03期

2 高永建 ,吴健康;神经网络及其识别应用简介[J];电信科学;1990年02期

3 谢国梁;;神经网络:从希望到现实[J];激光与光电子学进展;1991年01期

4 郑士贵;文献自动阅读神经网络[J];管理科学文摘;1996年08期

5 吕芬;赵生妹;;基于Hopfield神经网络的噪声字母识别[J];计算机与信息技术;2005年12期

6 李毅;童红俊;宋贵宝;李冬;;神经网络在飞行器航迹仿真计算中的应用[J];海军航空工程学院学报;2006年05期

7 林钢;;基于SOM神经网络对潜在客户的挖掘[J];南宁职业技术学院学报;2006年04期

8 杨帆;陈劲杰;唐梅华;陈鑫;;简论神经网络在搜索中的应用[J];机械管理开发;2008年01期

9 朱红斌;;LVQ神经网络在交通事件检测中的应用[J];计算机工程与应用;2008年34期

10 李彤岩;李兴明;;神经网络在确定关联规则挖掘算法权值中的应用研究[J];计算机应用研究;2008年05期

相关会议论文 前10条

1 陈文新;王长富;戴蓓倩;;基于神经网络的汉语四声识别[A];第一届全国语言识别学术报告与展示会论文集[C];1990年

2 李睿;李明军;;一种模糊高斯基神经网络在数值逼近上的仿真[A];计算机技术与应用进展——全国第17届计算机科学与技术应用（CACIS）学术会议论文集（上册）[C];2006年

3 许旭萍;臧道青;;采用Hopfield神经网络实施缸盖表面点阵字符识别[A];第十五届全国汽车检测技术年会论文集[C];2011年

4 朱长春;;神经网络用于线性时固有系统的广义状态转移矩阵的识别[A];中国工程物理研究院科技年报（1999）[C];1999年

5 王玉斌;李永明;王颖;;用数据挖掘和神经网络技术预测工程造价[A];第十一届全国电工数学学术年会论文集[C];2007年

6 应捷;袁一方;;神经网络指纹特征点匹配算法的改进[A];2007'中国仪器仪表与测控技术交流大会论文集（二）[C];2007年

7 谢小良;符卓;;基于Hopfield神经网络的单周期船舶调度模型及算法[A];2008年全国开放式分布与并行计算机学术会议论文集(下册)[C];2008年

8 陈意;;神经网络在船舶识别一个应用[A];船舶航泊安全的新经验新技术论文集（上册）[C];2007年

9 王辉;杨杰;黎明;蔡念;;一种基于神经网络的图像复原方法[A];2006年全国光电技术学术交流会会议文集（D 光电信息处理技术专题）[C];2006年

10 贾睿;徐启强;刘艳;;基于神经网络的网壳结构近似分析研究[A];第二十一届全国振动与噪声高技术及应用学术会议论文集[C];2008年

相关重要报纸文章 前1条

1 中国科技大学计算机系　邢方亮;神经网络挑战人类大脑[N];计算机世界;2003年

相关博士学位论文 前10条

1 李晓刚;基于神经网络的码垛机器人视觉位姿测量及伺服控制研究[D];北京林业大学;2015年

2 户保田;基于深度神经网络的文本表示及其应用[D];哈尔滨工业大学;2016年

3 沈旭;基于序列深度学习的视频分析：建模表达与应用[D];中国科学技术大学;2017年

4 诸勇;正交回归神经网络及其在控制系统中的应用[D];浙江大学;1998年

5 田景文;地下油藏的仿真与预测[D];哈尔滨工程大学;2001年

6 彭宏京;基于稀疏RAM的神经网络及其人脸识别应用研究[D];南京航空航天大学;2002年

7 王吉权;BP神经网络的理论及其在农业机械化中的应用研究[D];沈阳农业大学;2011年

8 郭海湘;石油储层纵向预测软硬计算融合的理论与方法研究[D];中国地质大学;2008年

9 葛利;基于过程神经网络的时序数据挖掘研究[D];哈尔滨工程大学;2012年

10 柴冰华;色貌模型CIECAM02若干问题的研究[D];北京理工大学;2006年

相关硕士学位论文 前10条

1 陈彦至;神经网络降维算法研究与应用[D];华南理工大学;2015年

2 蔡邦宇;人脸识别中单次ERP时空特征分析及其快速检索的应用[D];浙江大学;2015年

3 郑川;垃圾评论检测算法的研究[D];西南交通大学;2015年

4 汪济民;基于卷积神经网络的人脸检测和性别识别研究[D];南京理工大学;2015年

5 彭玲玲;基于不确定理论与机器学习的行人检测[D];长安大学;2015年

6 杨陈东;BP-Fisher判别分析法[D];长安大学;2015年

7 孟鑫;基于Hadoop云平台下的客流量预测研究[D];长安大学;2015年

8 张勇;深度卷积神经网络在车牌和人脸检测领域的应用研究[D];郑州大学;2015年

9 宋璐璐;财经职业技术学院票务管理系统的设计与实现[D];西安工业大学;2015年

10 陈锐浩;基于神经网络的口令属性分析工具开发[D];上海交通大学;2015年

，

本文编号：1437438