深度极限学习机的研究与应用

发布时间：2017-03-30 02:10

  本文关键词：深度极限学习机的研究与应用，，由笔耕文化传播整理发布。

【摘要】：近年来,深度学习已经成为机器学习领域的一项新兴研究,其多隐含层的神经网络架构有助于深度神经网络进行逐层的特征抽取以形成数据的高阶表示;贪婪的逐层无监督训练可以作为有监督参数微调过程的初始化设置,解决大数据时代训练标签难以获取的难题。但是,深度神经网络的有监督训练多采用基于梯度的优化准则,在该学习框架中,所有的隐含层参数需要迭代训练,因此,深度结构难以以快速的学习速率实现良好的泛化性能。针对基于梯度类学习算法训练速度慢、泛化性能差等缺点,黄广斌等人提出了一种简便、高效的训练策略——极限学习机(ELM)。在该策略中,单隐层前馈神经网络根据某种概率分布随机选取隐含层输出,避免了参数的迭代微调;鉴于其学习速率快、泛化性能好、不易陷入局部最优,ELM被广泛应用于各种分类和回归问题。然而,ELM的单隐层结构制约了其捕捉高维度数据中有效特征的能力,因此难以适用于大数据时代日益膨胀的数据。基于以上两种算法,黄广斌等人提出一种深度多层极限学习机算法,多层的神经网络结构使其可以提取出数据中高层次的抽象信息;ELM的理论避免了网络权值的反复迭代调整,提高了计算效率;半监督的逐层训练机制解决了很多实际问题中训练标签难以获取的问题。因此,深度多层极限学习机能同时有效地解决大数据时代高维度,大数据,获取标记样本难、构造特征难、训练难等问题。针对深度极限学习机(DELM)算法,本文主要做了以下研究:(1)在机器人抓取识别任务中,针对RGB信息和Depth信息融合问题,本文采用多模态深度极限学习机(MM-DELM)作为多模态融合模型训练方案,可以有效地学习并融合RGB模态和Depth模态中的原始像素信息,并在Cornell Grasping数据集上进行验证。(2)通过实验证明,MM-DELM训练算法极大地改善了识别的准确率,并且遵循着类似ELM的收敛性,其性能在广泛的参数取值空间内很稳定,不同的参数选择并不会造成模型性能大范围的变动。因此,为本文的参数选择提供了依据。(3)在时间序列预测任务中,本文将DELM算法应用于建立局部预测模型。该模型将混合欧式距离作为相似性度量方法,完成训练样本的重组,并采用DELM构建重组样本的预测模型。(4)为了验证DELM预测模型的准确性,选取时间序列数据库(TSDL)的五个数据集作为实验数据集,分别验证了基于混合欧氏距离的DELM局部预测模型在单步预测和多步预测中的泛化性能。
【关键词】：深度学习 深度极限学习机 机器抓取识别 多模态融合 时间序列预测
【学位授予单位】：太原理工大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP181
【目录】：

• 摘要3-5
• ABSTRACT5-13
• 第1章 绪论13-19
• 1.1 课题研究背景及意义13-14
• 1.2 国内外研究现状14-15
• 1.3 本文主要研究内容15-19
• 第2章 极限学习机19-27
• 2.1 引言19
• 2.2 人工神经网络19-23
• 2.2.1 神经网络的结构20-21
• 2.2.2 单隐含层前馈神经网络21-23
• 2.3 极限学习机23-26
• 2.3.1 极限学习机理论24-25
• 2.3.2 极限学习机算法25-26
• 2.4 本章小结26-27
• 第3章 深度极限学习机27-35
• 3.1 引言27
• 3.2 深度神经网络27-32
• 3.2.1 卷积神经网络28-29
• 3.2.2 深度信念网络29-31
• 3.2.3 自编码器31-32
• 3.3 深度极限学习机32-34
• 3.4 本章小结34-35
• 第4章 基于深度极限学习机的多模态融合技术35-55
• 4.1 引言35-36
• 4.2 多模态深度学习36-40
• 4.2.1 同构数据36-37
• 4.2.2 异构数据37-40
• 4.3 机器抓取40-41
• 4.4 问题描述41-42
• 4.5 基于深度极限学习机的多模态融合算法42-47
• 4.6 实验结果及分析47-53
• 4.6.1 Cornell grasping数据库47-48
• 4.6.2 实验结果48-51
• 4.6.3 参数灵敏度实验51-53
• 4.7 本章小结53-55
• 第5章 基于深度极限学习机的时间序列预测55-69
• 5.1 引言55-56
• 5.2 时间序列预测56-57
• 5.3 问题描述57-58
• 5.4 时间序列预测模型58-61
• 5.4.1 训练样本提取59-60
• 5.4.2 DELM模型推导60-61
• 5.5 公开数据集介绍61
• 5.6 实验结果及分析61-67
• 5.6.1 单步预测62-64
• 5.6.2 多步预测64-67
• 5.7 本章小结67-69
• 第6章 总结69-71
• 参考文献71-75
• 致谢75-77
• 攻读学位期间发表的学术论文目录77

【相似文献】

中国期刊全文数据库 前10条

1 云中客;新的神经网络来自于仿生学[J];物理;2001年10期

2 唐春明,高协平;进化神经网络的研究进展[J];系统工程与电子技术;2001年10期

3 李智;一种基于神经网络的煤炭调运优化方法[J];长沙铁道学院学报;2003年02期

4 程科,王士同,杨静宇;新型模糊形态神经网络及其应用研究[J];计算机工程与应用;2004年21期

5 王凡,孟立凡;关于使用神经网络推定操作者疲劳的研究[J];人类工效学;2004年03期

6 周丽晖;从统计角度看神经网络[J];统计教育;2005年06期

7 赵奇 ,刘开第 ,庞彦军;灰色补偿神经网络及其应用研究[J];微计算机信息;2005年14期

8 袁婷;;神经网络在股票市场预测中的应用[J];软件导刊;2006年05期

9 尚晋;杨有;;从神经网络的过去谈科学发展观[J];重庆三峡学院学报;2006年03期

10 杨钟瑾;;神经网络的过去、现在和将来[J];青年探索;2006年04期

中国重要会议论文全文数据库 前10条

1 徐春玉;;基于泛集的神经网络的混沌性[A];1996中国控制与决策学术年会论文集[C];1996年

2 周树德;王岩;孙增圻;孙富春;;量子神经网络[A];2003年中国智能自动化会议论文集（上册）[C];2003年

3 罗山;张琳;范文新;;基于神经网络和简单规划的识别融合算法[A];2009系统仿真技术及其应用学术会议论文集[C];2009年

4 郭爱克;马尽文;丁康;;序言(二)[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年

5 钟义信;;知识论:神经网络的新机遇——纪念中国神经网络10周年[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年

6 许进;保铮;;神经网络与图论[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年

7 金龙;朱诗武;赵成志;陈宁;;数值预报产品的神经网络释用预报应用[A];1999年中国神经网络与信号处理学术会议论文集[C];1999年

8 田金亭;;神经网络在中学生创造力评估中的应用[A];第十二届全国心理学学术大会论文摘要集[C];2009年

9 唐墨;王科俊;;自发展神经网络的混沌特性研究[A];2009年中国智能自动化会议论文集（第七分册）[南京理工大学学报（增刊）][C];2009年

10 张广远;万强;曹海源;田方涛;;基于遗传算法优化神经网络的故障诊断方法研究[A];第十二届全国设备故障诊断学术会议论文集[C];2010年

中国重要报纸全文数据库 前10条

1 美国明尼苏达大学社会学博士 密西西比州立大学国家战略规划与分析研究中心资深助理研究员 陈心想;维护好创新的“神经网络硬件”[N];中国教师报;2014年

2 卢业忠;脑控电脑 惊世骇俗[N];计算机世界;2001年

3 葛一鸣 路边文;人工神经网络将大显身手[N];中国纺织报;2003年

4 中国科技大学计算机系　邢方亮;神经网络挑战人类大脑[N];计算机世界;2003年

5 记者 孙刚;“神经网络”：打开复杂工艺“黑箱”[N];解放日报;2007年

6 本报记者 刘霞;美用DNA制造出首个人造神经网络[N];科技日报;2011年

7 健康时报特约记者　 张献怀;干细胞移植：修复受损的神经网络[N];健康时报;2006年

8 刘力;我半导体神经网络技术及应用研究达国际先进水平[N];中国电子报;2001年

9 ;神经网络和模糊逻辑[N];世界金属导报;2002年

10 邹丽梅 陈耀群;江苏科大神经网络应用研究通过鉴定[N];中国船舶报;2006年

中国博士学位论文全文数据库 前10条

1 杨旭华;神经网络及其在控制中的应用研究[D];浙江大学;2004年

2 李素芳;基于神经网络的无线通信算法研究[D];山东大学;2015年

3 石艳超;忆阻神经网络的混沌性及几类时滞神经网络的同步研究[D];电子科技大学;2014年

4 王新迎;基于随机映射神经网络的多元时间序列预测方法研究[D];大连理工大学;2015年

5 付爱民;极速学习机的训练残差、稳定性及泛化能力研究[D];中国农业大学;2015年

6 李辉;基于粒计算的神经网络及集成方法研究[D];中国矿业大学;2015年

7 王卫苹;复杂网络几类同步控制策略研究及稳定性分析[D];北京邮电大学;2015年

8 曾U喺

本文编号：275971