针对深度学习模型的优化问题研究

发布时间：2020-07-04 02:50

【学位授予单位】：中国科学技术大学
【学位级别】：博士
【学位授予年份】：2019
【分类号】：TP18
【图文】：

般按照逐像素点的方式进行处理，而是关注于局部的一个小区域，这个小区域被逡逑称为感受野（ＲｅｃｅｐｔｉｏｎＦｉｌｅｄ）。因此，生物的视觉系统对于自然图像中的空间信息逡逑掌握的更充分。为了模拟这样的系统，卷积神经网络引人了卷积操作，如图２．３所逡逑示。卷积操作带有具有可学习参数的卷积核（图２．３中卷积核参数都为１），其大小逡逑表示了单个视觉细胞的感受野区域大小。卷积核在输人特征图（Ｆｅａｔｕｒｅ邋Ｍａｐ）上逡逑进行滑动，并将卷积窗内的像素值与卷积核参数进行加权求和，得到下一层特征逡逑图相对应位置的像素值。卷积核在输人特征图上滑动的过程中，其参数保持不逡逑变，这称之为局部参数共享。逡逑可以看出，经过卷积操作后产生的新特征图上每个点都包含了上一层特征逡逑图中与该点位置相同的像素点及其周围像素点的信息，因此卷积操作被认为是逡逑２１逡逑

随着互联网时代的到来，数据量呈现指数级别的飞速增长。庞大的训练数据逡逑需要耗费大量的计算资源和训练时间，对传统的优化算法提出了非常大的挑战。逡逑同时大规模训练数据的出现也驱使深度学习模型的尺寸继续增长（如图２．６），如逡逑２０１５年微软研究院开发的ＬｉｇｈｔＬＤＡ主题模型［９１〗拥有超过２００亿个可学习参逡逑数。逡逑２６逡逑

【相似文献】

相关期刊论文 前10条

1 艾静;熊建文;;基于学科交叉问题分析的高中小课题研究性学习模型构建[J];物理通报;2017年07期

2 秦义;顾现朋;;基于云计算的大学生移动学习模型构建[J];亚太教育;2016年31期

3 张镭翕;赵鲜;魏玲;;基于交互认知复杂性学习模型的教学设计[J];中国教育信息化;2014年20期

4 王立华;;个性化学习模型的现实探索与未来展望——学习辅导之本:推荐个性化学习模型(下)[J];班主任之友(中学版);2016年12期

5 吴信东,熊范纶;多目标定值的一种权系数学习模型[J];信息与控制;1988年06期

6 沈玉红;;“爱学习模型”对化学教学的启示——基于问题驱动,提升学生自学能力[J];化学教学;2015年07期

7 张鑫;孙力;田超;王文保;;大学化学云计算学习环境与协作学习模型的构建[J];大学化学;2017年03期

8 方向;盛群力;;“爱学习模型”的理论框架与特色[J];课程.教材.教法;2014年10期

9 郭炜颖;;初中数学智慧学习模型及支撑空间研究[J];考试周刊;2018年69期

10 涂阳军;张晓明;;领域学习模型研究述评[J];高等工程教育研究;2007年06期

相关会议论文 前10条

1 刘金琨;侯伯岩;;高炉专家系统的自学习模型[A];1996中国控制与决策学术年会论文集[C];1996年

2 崔立辉;顾洋;陈杰;;一种基于ANFIS的再励学习模型[A];第二十一届中国控制会议论文集[C];2002年

3 李艳;郭朝珍;;多Agent系统中的语义学习模型[A];计算机与教育——全国计算机辅助教育学会第十二届学术年会论文集[C];2005年

4 于顺安;赵中华;;基于“智能”定义的学习模型[A];1995年中国智能自动化学术会议暨智能自动化专业委员会成立大会论文集（下册）[C];1995年

5 朱新明;李亦菲;王吉庆;单俊;赵国梅;何伟;;基于示例演练学习模型的LEPS-CAI系统[A];多媒体与教育：计算机辅助教育的新进展——全国计算机辅助教育学会第七届学术年会论文集[C];1995年

6 彭德正;;“学讲”课堂:内涵、特征及操作要义[A];2015年江苏省小学深化课堂教学改革现场观摩研讨活动论文集[C];2015年

7 杜荣;杨天宇;;基于质量的动态组织学习模型的实证研究[A];2002年中国管理科学学术会议论文集[C];2002年

8 林元庆;陈加良;;关于博弈学习模型的研究[A];2001年中国管理科学学术会议论文集[C];2001年

9 王锋;;网络环境下中小学生自主学习教学指导模式的探讨[A];计算机与教育——全国计算机辅助教育学会第十二届学术年会论文集[C];2005年

10 吴江;管晓宏;高峰;孙国基;;考虑风险的发电商优化报价学习模型[A];第二十四届中国控制会议论文集（下册）[C];2005年

相关重要报纸文章 前1条

1 本报记者 李佳师;英特尔人工智能战略靠谱吗？[N];中国电子报;2016年

相关博士学位论文 前10条

1 郑书新;针对深度学习模型的优化问题研究[D];中国科学技术大学;2019年

2 赵振宇;偏微分方程学习模型的算法研究及其在图像处理中的应用[D];国防科学技术大学;2016年

3 徐琴珍;树型混合学习模型及其应用研究[D];东南大学;2006年

4 赵铮;初中数学智慧学习模型及支撑空间研究[D];东北师范大学;2016年

5 吴涛;变构学习模型研究[D];华东师范大学;2010年

6 肖红姗;面向风险决策问题的集成学习模型与算法研究[D];重庆大学;2017年

7 杨磊;基于改进群体智能算法的数据分类学习模型研究[D];华南农业大学;2016年

8 张克俊;基因表达式编程理论及其监督机器学习模型研究[D];浙江大学;2010年

9 陈凯;深度学习模型的高效训练算法研究[D];中国科学技术大学;2016年

10 赵志刚;学习模型与资产市场[D];天津大学;2010年

相关硕士学位论文 前10条

1 王铁鹏;单交叉口配时优化的函数逼近型强化学习模型[D];长沙理工大学;2017年

2 王兴;基于变构学习模型的高中生物教学设计研究[D];曲阜师范大学;2018年

3 冯云聪;宏表情到微表情的迁移学习模型研究[D];山东大学;2018年

4 刘金来;深度学习模型在网络流量分类中的应用研究[D];哈尔滨理工大学;2018年

5 冯洋;多标签软件行为学习模型及实现[D];南京大学;2013年

6 张春雨;基于深度学习模型的证券价格预测实证研究[D];山西大学;2018年

7 何清泉;基于公平思考的博弈学习模型及其实验研究[D];中南大学;2006年

8 史玉梅;分布式结对编程中的强化学习模型与干预策略研究[D];南京师范大学;2013年

9 肖力维;组织学习模型的研究[D];华东师范大学;2003年

10 祝军;基于深度学习模型的图像分类研究[D];宁波大学;2015年

本文编号：2740525