基于混合maxout单元的卷积神经网络性能优化

发布时间：2018-04-28 21:17

  本文选题：深度学习 + 卷积神经网络　； 参考：《通信学报》2017年07期

【摘要】：针对深度卷积神经网络中maxout单元非最大特征无法传递、特征图像子空间池化表达能力不足的局限性,提出混合maxout(mixout,mixed maxout)单元。首先,计算相同输入在不同卷积变换下所形成的特征图像子空间的指数概率分布;其次,根据概率分布计算特征图像子空间的期望;最后,利用伯努利分布对子空间的最大值与期望值加权,均衡单元模型。分别构建基于mixout单元的简单模型和网中网模型进行实验,结果表明mixout单元模型性能较好。
[Abstract]:Aiming at the limitation that the non-maximum feature of maxout element can not be transferred in the deep convolution neural network and the ability of the subspace of the feature image is insufficient, a mixed maxoutum mixed mixed maxout) unit is proposed. First, the exponential probability distribution of the feature image subspace formed by the same input under different convolution transformation is calculated. Secondly, the expectation of the feature image subspace is calculated according to the probability distribution. The Bernoulli distribution is used to weigh the maximum value and expected value of subspace to equalize the element model. A simple model based on mixout unit and a net-in-network model are constructed for experiments. The results show that the performance of mixout cell model is good.
【作者单位】： 空军工程大学防空反导学院;
【基金】：国家自然科学基金资助项目(No.61601499)~~
【分类号】：TP183;TP391.41

【参考文献】

相关期刊论文 前2条

1 周昌令;栾兴龙;肖建国;;基于深度学习的域名查询行为向量空间嵌入[J];通信学报;2016年03期

2 杨钊;陶大鹏;张树业;金连文;;大数据下的基于深度神经网的相似汉字识别[J];通信学报;2014年09期

【共引文献】

相关期刊论文 前8条

1 杨杰;杨振南;;基于改进的CNN多级分类的行人检测算法研究[J];计算机应用与软件;2017年08期

2 赵慧珍;刘付显;李龙跃;罗畅;;基于混合maxout单元的卷积神经网络性能优化[J];通信学报;2017年07期

3 覃科;刘晓刚;丁立新;;基于卷积神经网络的CO_2焊接熔池图像状态识别方法[J];焊接;2017年06期

4 田喜平;赵红丹;;一种用于汉字识别的字形编码系统设计与实现[J];现代电子技术;2017年02期

5 金连文;钟卓耀;杨钊;杨维信;谢泽澄;孙俊;;深度学习在手写汉字识别中的应用综述[J];自动化学报;2016年08期

6 杨颐;张桂刚;王健;黄卫星;苏海霞;;基于云计算的汉字文化数字化平台的架构研究[J];计算机科学;2016年07期

7 冯通;;基于深度学习的航空飞行器故障自助检测研究[J];计算机仿真;2015年11期

8 顾桓;田红;高妍;;一种基于云平台的包装印刷设备增值服务系统[J];包装工程;2015年15期

【二级参考文献】

相关期刊论文 前1条

1 袁春阳;李青山;王永建;;基于行为与域名查询关联的僵尸网络聚类联动监测[J];计算机应用研究;2012年03期

【相似文献】

相关期刊论文 前10条

1 旷章辉;王甲海;周雅兰;;用改进的竞争Hopfield神经网络求解多边形近似问题[J];计算机科学;2009年03期

2 高永建 ,吴健康;神经网络及其识别应用简介[J];电信科学;1990年02期

3 谢国梁;;神经网络:从希望到现实[J];激光与光电子学进展;1991年01期

4 郑士贵;文献自动阅读神经网络[J];管理科学文摘;1996年08期

5 吕芬;赵生妹;;基于Hopfield神经网络的噪声字母识别[J];计算机与信息技术;2005年12期

6 李毅;童红俊;宋贵宝;李冬;;神经网络在飞行器航迹仿真计算中的应用[J];海军航空工程学院学报;2006年05期

7 林钢;;基于SOM神经网络对潜在客户的挖掘[J];南宁职业技术学院学报;2006年04期

8 杨帆;陈劲杰;唐梅华;陈鑫;;简论神经网络在搜索中的应用[J];机械管理开发;2008年01期

9 朱红斌;;LVQ神经网络在交通事件检测中的应用[J];计算机工程与应用;2008年34期

10 李彤岩;李兴明;;神经网络在确定关联规则挖掘算法权值中的应用研究[J];计算机应用研究;2008年05期

相关会议论文 前10条

1 陈文新;王长富;戴蓓倩;;基于神经网络的汉语四声识别[A];第一届全国语言识别学术报告与展示会论文集[C];1990年

2 李睿;李明军;;一种模糊高斯基神经网络在数值逼近上的仿真[A];计算机技术与应用进展——全国第17届计算机科学与技术应用（CACIS）学术会议论文集（上册）[C];2006年

3 许旭萍;臧道青;;采用Hopfield神经网络实施缸盖表面点阵字符识别[A];第十五届全国汽车检测技术年会论文集[C];2011年

4 朱长春;;神经网络用于线性时固有系统的广义状态转移矩阵的识别[A];中国工程物理研究院科技年报（1999）[C];1999年

5 王玉斌;李永明;王颖;;用数据挖掘和神经网络技术预测工程造价[A];第十一届全国电工数学学术年会论文集[C];2007年

6 应捷;袁一方;;神经网络指纹特征点匹配算法的改进[A];2007'中国仪器仪表与测控技术交流大会论文集（二）[C];2007年

7 谢小良;符卓;;基于Hopfield神经网络的单周期船舶调度模型及算法[A];2008年全国开放式分布与并行计算机学术会议论文集(下册)[C];2008年

8 陈意;;神经网络在船舶识别一个应用[A];船舶航泊安全的新经验新技术论文集（上册）[C];2007年

9 王辉;杨杰;黎明;蔡念;;一种基于神经网络的图像复原方法[A];2006年全国光电技术学术交流会会议文集（D 光电信息处理技术专题）[C];2006年

10 贾睿;徐启强;刘艳;;基于神经网络的网壳结构近似分析研究[A];第二十一届全国振动与噪声高技术及应用学术会议论文集[C];2008年

相关重要报纸文章 前1条

1 中国科技大学计算机系　邢方亮;神经网络挑战人类大脑[N];计算机世界;2003年

相关博士学位论文 前10条

1 李晓刚;基于神经网络的码垛机器人视觉位姿测量及伺服控制研究[D];北京林业大学;2015年

2 户保田;基于深度神经网络的文本表示及其应用[D];哈尔滨工业大学;2016年

3 沈旭;基于序列深度学习的视频分析：建模表达与应用[D];中国科学技术大学;2017年

4 诸勇;正交回归神经网络及其在控制系统中的应用[D];浙江大学;1998年

5 田景文;地下油藏的仿真与预测[D];哈尔滨工程大学;2001年

6 彭宏京;基于稀疏RAM的神经网络及其人脸识别应用研究[D];南京航空航天大学;2002年

7 王吉权;BP神经网络的理论及其在农业机械化中的应用研究[D];沈阳农业大学;2011年

8 郭海湘;石油储层纵向预测软硬计算融合的理论与方法研究[D];中国地质大学;2008年

9 葛利;基于过程神经网络的时序数据挖掘研究[D];哈尔滨工程大学;2012年

10 柴冰华;色貌模型CIECAM02若干问题的研究[D];北京理工大学;2006年

相关硕士学位论文 前10条

1 陈彦至;神经网络降维算法研究与应用[D];华南理工大学;2015年

2 蔡邦宇;人脸识别中单次ERP时空特征分析及其快速检索的应用[D];浙江大学;2015年

3 郑川;垃圾评论检测算法的研究[D];西南交通大学;2015年

4 汪济民;基于卷积神经网络的人脸检测和性别识别研究[D];南京理工大学;2015年

5 彭玲玲;基于不确定理论与机器学习的行人检测[D];长安大学;2015年

6 杨陈东;BP-Fisher判别分析法[D];长安大学;2015年

7 孟鑫;基于Hadoop云平台下的客流量预测研究[D];长安大学;2015年

8 张勇;深度卷积神经网络在车牌和人脸检测领域的应用研究[D];郑州大学;2015年

9 宋璐璐;财经职业技术学院票务管理系统的设计与实现[D];西安工业大学;2015年

10 陈锐浩;基于神经网络的口令属性分析工具开发[D];上海交通大学;2015年

，

本文编号：1816919