机器学习和神经网络学习中的若干问题研究

发布时间：2017-12-18 06:08

  本文关键词：机器学习和神经网络学习中的若干问题研究

  更多相关文章： 机器学习 前馈神经网络 网络结构优化 泛化性能 泛化界

【摘要】：在机器学习中,通常根据是否利用有标记样本进行学习将其分为有监督学习和无监督学习.作为机器学习的重要组成部分,前馈神经网络在模式识别、函数逼近等方面具有重要应用.对有监督学习,训练样本通过输入层映射到隐层,经隐层激活函数作用后,映射到输出层,再根据某种学习规则进行网络权值的调整.神经网络结构涉及到网络中输入层、隐层和输出层的神经元节点数及节点间的连接方式.神经网络的学习速度与泛化能力和网络结构、样本特性密切相关.本文研究的重点是单隐层前馈神经网络结构的优化,以及样本学习过程的泛化界.具体安排如下：第一章主要介绍机器学习及神经网络学习,前馈神经网络及网络结构优化和样本学习的泛化能力等相关内容和研究情况.在第二章中,注意到样本维数和前馈神经网络输入层节点密切相关,我们主要研究基于粗糙集的样本属性约简算法,提出了一种基于集合基本运算的属性约简算法,把传统约简方法中的合取、析取等运算转化为普通集合的基本运算.算例表明,该算法可以有效降低输入样本的维数,以此达到优化前馈神经网络输入层的目的.第三章主要研究在多分类问题中多重感知机输出节点,在“一对一”输出模式下和“二进制”输出模式下的关系.我们指出了当分类规模k≤8时,利用m≤[log2(k+1)]个“二进制”输出神经元的多重感知机,可等价地解决此问题,并进行了理论论证.为达到优化前馈神经网络隐层的目的,我们在第四章结合双并联神经网络结构和快速学习机(ELM),提出了双并联快速学习机,并推导了相应的在线顺序学习算法.数值实验表明,双并联快速学习机可以有效解决某些分类和回归问题,和传统的ELM相比,使用隐节点数大大减少,网络的泛化性能也有所提高.我们在第五章中,把有监督学习置于统计学习框架下,研究当样本取自某不确定随机过程时其学习过程的泛化性能.在本章中,我们设计了一种理论框架,把非独立同分布样本的泛化界,分成4个有机组成部分,分别研究了其泛化界.特别的,我们研究了Φ4的偏差不等式和对称不等式,这是对经典统计学习理论结果的有益补充.
【学位授予单位】：大连理工大学
【学位级别】：博士
【学位授予年份】：2016
【分类号】：TP18

【相似文献】

中国期刊全文数据库 前10条

1 张明玉,倪志伟;基于机器学习的智能决策支持系统[J];淮南师范学院学报;2005年03期

2 杨凌霄;武建平;;机器学习方法在人脸检测中的应用[J];计算机与数字工程;2008年03期

3 ;第十一届中国机器学习会议[J];智能系统学报;2008年02期

4 ;第14届中国机器学习会议[J];智能系统学报;2012年06期

5 费宗铭;吕建;王志坚;陈道蓄;徐家福;;机器学习[J];计算机科学;1991年01期

6 赵沁平;魏华;王军玲;;机器学习技术与机器学习系统[J];计算机科学;1993年05期

7 姚敏;机器学习及其发展方向[J];计算机时代;1994年04期

8 ;第31届机器学习国际会议(英文)[J];智能系统学报;2014年01期

9 黄海滨;机器学习及其主要策略[J];河池师范高等专科学校学报(自然科学版);2000年04期

10 佘玉梅;一种协调机器学习方法研究[J];云南民族学院学报(自然科学版);2000年03期

中国重要会议论文全文数据库 前10条

1 王珏;;归纳机器学习[A];2001年中国智能自动化会议论文集（上册）[C];2001年

2 王昊;李银波;纪志梁;;利用机器学习方法预测严重药物不良反应-呼吸困难[A];中国化学会第28届学术年会第13分会场摘要集[C];2012年

3 吴沧浦;;智能系统与机器学习的新领域[A];西部大开发 科教先行与可持续发展——中国科协2000年学术年会文集[C];2000年

4 周晴杰;徐立鸿;吴启迪;;机器学习串级结构的初步探讨[A];1998年中国控制会议论文集[C];1998年

5 李刚;郭崇慧;林鸿飞;杨志豪;唐焕文;;基于词典法和机器学习法相结合的蛋白质名识别[A];大连理工大学生物医学工程学术论文集（第2卷）[C];2005年

6 徐礼胜;李乃民;王宽全;张冬雨;耿斌;姜晓睿;陈超海;罗贵存;;机器学习在中医计算机诊断识别系统中的应用思考[A];第一届全国中西医结合诊断学术会议论文选集[C];2006年

7 蔡健平;林世平;;基于机器学习的词语和句子极性分析[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年

8 黄金铁;李景银;周建常;;对高炉炉况评价模型参数的机器学习——一个三类线性模式分类器的实现[A];1995中国控制与决策学术年会论文集[C];1995年

9 程国建;蔡磊;潘华贤;;核向量机在大规模机器学习中的应用[A];第十一届中国青年信息与管理学者大会论文集[C];2009年

10 张钹;张铃;;统计学习理论及其应用[A];2001年中国智能自动化会议论文集（上册）[C];2001年

中国重要报纸全文数据库 前10条

1 黎骊/文 [美] Tom M.Mitchell 著;机器学习与智能化社会[N];中国邮政报;2003年

2 IBM大数据专家 James Kobielus　范范 编译;机器学习已成为大数据基石[N];网络世界;2014年

3 本报记者 房琳琳;合久必分：分布式“机器学习”应运而生[N];科技日报;2014年

4 雨辰;机器学习类图书为什么火爆[N];中华读书报;2014年

5 百度公司技术副总监 多媒体部负责人 余凯;深度学习与多媒体搜索技术演进[N];中国信息化周报;2013年

6 本报记者 余建斌;机器学习与互联网搜索[N];人民日报;2011年

7 本报记者 张晔邋通讯员 李玮;周志华：永不墨守成规[N];科技日报;2008年

8 记者　 彭德倩;机器学习精度提升近6个百分点[N];解放日报;2006年

9 本报记者 闵杰;大数据热 高端人才缺[N];中国电子报;2013年

10 沈建苗 编译;如何成为大数据科学家[N];计算机世界;2013年

中国博士学位论文全文数据库 前10条

1 董春茹;机器学习中的权重学习与差分演化[D];华南理工大学;2015年

2 姚明臣;机器学习和神经网络学习中的若干问题研究[D];大连理工大学;2016年

3 赵玉鹏;机器学习的哲学探索[D];大连理工大学;2010年

4 胡巍;面向格结构的机器学习[D];上海交通大学;2009年

5 张义荣;基于机器学习的入侵检测技术研究[D];国防科学技术大学;2005年

6 钱线;快速精确的结构化机器学习方法研究[D];复旦大学;2010年

7 梁锡军;稀疏优化在机器学习中的若干应用[D];大连理工大学;2013年

8 蒋刚;核机器学习方法若干问题研究[D];西南交通大学;2006年

9 陈慧灵;面向智能决策问题的机器学习方法研究[D];吉林大学;2012年

10 周伟达;核机器学习方法研究[D];西安电子科技大学;2003年

中国硕士学位论文全文数据库 前10条

1 毛海斌;基于半监督机器学习的情感分类领域适应问题研究[D];南京理工大学;2015年

2 安军辉;基于微博数据的微博用户性别判断研究[D];华中师范大学;2015年

3 陈召阳;基于机器学习的改性麦槽吸附重金属构效关系模型研究[D];江西理工大学;2014年

4 王成;基于半监督机器学习的文本情感分析技术[D];南京理工大学;2015年

5 孙科;基于Spark的机器学习应用框架研究与实现[D];上海交通大学;2015年

6 刘江龙;基于机器学习的射频指纹定位方法研究[D];电子科技大学;2015年

7 张蕾;基于机器学习的网络舆情采集技术研究与设计[D];电子科技大学;2014年

8 施宇;基于数据挖掘和机器学习的木马检测系统设计与实现[D];电子科技大学;2014年

9 施应敏;基于机器学习的Femtocell信道频谱与功率资源分配算法的研究[D];南京邮电大学;2015年

10 张柯;基于机器学习的错误定位方法研究[D];南京航空航天大学;2015年

，

本文编号：1303080