神经网络集成分类方法及其在并行计算环境中的应用研究

发布时间：2017-03-25 02:03

  本文关键词：神经网络集成分类方法及其在并行计算环境中的应用研究，由笔耕文化传播整理发布。

【摘要】：集成学习是一种新的机器学习范式,它通过对弱学习机进行整合,获得达到强学习机效果和质量的整体输出。集成学习从统计学上、计算上和表示上的三个方向,而不是直接从人工智能和学习算法的方向上,有效地提高了机器学习的效果,这从机器学习研究的方法论上来说是一个重大的进步。神经网络集成是指子学习机为神经网络的集成学习算法,由于人工神经网络本身就被很广泛地用于各类分类算法,所以神经网络集成也是分类器集成最常用的一种计算框架,成为目前国际机器学习和神经计算界的一个长期活跃的研究热点。现有的集成学习算法存在两个比较普遍性问题。一是通用性问题。没有一个“万能算法”能解决所有的问题,必须具体问题具体分析。二是性能问题。集成学习算法带来了数倍于单学习机模式的计算量,在实时系统或者海量数据处理系统的应用中会导致性能问题。针对上面这两类问题,本论文的研究目标主要包括:一是分别针对低维数据和高维数据这两种比较典型的分类问题,提出了更加合适的集成算法组合。二是提出针对并行性计算优化的集成算法,并将并行集成学习算法应用在并行计算框架上解决实际问题。具体如下:1、现有基于模糊积分的神经网络集成算法,一般是以衡量正确率的模糊密度为基础的,这样来确定子神经网络权重的方式不够全面。本论文设计了一个能够从正确率、误差距离和失效程度三方面更加有效和全面衡量子神经网络重要程度的模糊密度,并将其用于神经网络集成器的计算。通过对双螺旋分类问题的研究,证明了提出的神经网络集成算法在这种典型的低维度数据分类问题上的有效性。2、高维度数据的分类问题,一般都需要基于特征抽取或者特征选择的数据降维预处理。本论文设计了一种方法,通过采用多种特征抽取方法来对同一原始训练数据获得多个训练集,从而提高子神经网络差异性。在另一方面,经典的Adaboost算法在用于多类分类问题时,容易忽略整体正确率不高、但对某个类别拥有分类“特长”的子神经网络。本论文提出多维Adaboost(Multi-Dimension Adaboost,MD-Adaboost)算法,通过为子神经网络对于不同分类的输出设置独立权重,使得各个子神经网络在输出集成中能够拥有更加合理的权值,从而提高神经网络集成分类器的整体性能。该算法应用在人脸表情识别(Face Expression Recognition,FER)中获得了较好的结果。3、集成分类算法在海量数据集的训练和分类中会产生巨大的计算量,针对这个问题,本论文提出了基于Mapreduce并行计算框架和遗传算法的并行选择性神经网络集成算法(Maprduce-baesd Selective Neural Network Ensemble with GA,MSNNE-GA)。算法通过“选择”的手段降低了集成分类器的规模,同时通过使用Mapreduce框架实现了集成分类器在训练、选择和分类多个阶段的并行计算,有效缩短了算法的运行时间。实验中使用该算法更优地解决了双螺旋分类问题,同时与单个分类器相比,分类的速度也有了大大的提高。4、上面提出的MSNNE-GA算法是全局优化算法的一种,但其使用遗传算法的选择过程并行度不高,而且存在频繁的数据交换损耗。除了全局优化选择算法,选择性神经网络集成常用的方法还包括聚类。本论文提出了另一种可并行的选择性神经网络集成方法(Selective Neural Network Ensemble with K-means and PSO,SNNE-KP),通过将聚类和类内的全局优化算法(或称局部优化算法)结合起来,不仅从提高子神经网络的多样性和准确性这两个方面来共同提高神经网络集成的质量,而且还提高了算法的整体并行度。在对UCI部分数据集进行分类的实验中,SNNE-KP算法获得了更好的分类准确率。除此之外,基于Hadoop的并行计算也能有效的提高神经网络集成分类器的构造速度和分类速度。5、对基于混合神经网络计算平台(Hybrid Neural-Net Computing Platform,HNetCP)的分布式虚拟仿人机器人(Virtual Humanoid Robot,VHR)进行了扩展,将基于Hadoop的并行计算框架作为机器人的学习模块,实现了基于以上提出的SNNE-KP神经网络集成算法框架实现了人脸识别算法。在实验中完成了人脸识别与三维仿真系统的联动控制,并对集中式VHR和分布式VHR进行了对比分析。
【关键词】：集成学习 神经网络集成 Mapreduce 人脸表情识别 虚拟仿人机器人
【学位授予单位】：华南理工大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：TP181
【目录】：

• 摘要5-7
• Abstract7-15
• 第一章 绪论15-26
• 1.1 研究的背景和意义15-17
• 1.1.1 机器学习概述15-16
• 1.1.2 集成学习的研究意义16
• 1.1.3 集成学习的性能问题16-17
• 1.2 集成学习概述17-20
• 1.2.1 集成学习研究的关键问题18
• 1.2.2 分类器集成18-19
• 1.2.3 神经网络集成19-20
• 1.2.4 并行集成学习20
• 1.3 研究动机和研究目标20-21
• 1.4 研究内容21-24
• 1.4.1 基于模糊密度和模糊积分的神经网络集成分类器22
• 1.4.2 基于集成特征抽取和多维Adaboost算法的神经网络集成分类器22-23
• 1.4.3 基于遗传算法的并行选择性神经网络集成分类器23
• 1.4.4 基于聚类和局部优化算法的并行选择性神经网络集成分类器23-24
• 1.4.5 并行神经网络集成在分布式虚拟仿人机器人的应用24
• 1.5 论文章节组织24-26
• 第二章 集成学习的理论基础和研究现状26-46
• 2.1 集成学习的框架26-27
• 2.2 集成学习的理论基础27-28
• 2.3 集成学习的有效性分析28-31
• 2.3.1 有效性的内部条件28-29
• 2.3.2 有效性的外部条件29-31
• 2.4 集成学习的算法分析31-37
• 2.4.1 子学习机的生成算法31-34
• 2.4.2 子学习机的集成算法34-37
• 2.5 集成学习的评估分析37-38
• 2.6 集成学习的研究现状38-42
• 2.6.1 分类器集成的研究现状38-40
• 2.6.2 神经网络集成研究现状40-41
• 2.6.3 并行集成学习研究现状41-42
• 2.7 本论文涉及的分类问题介绍42-45
• 2.7.1 双螺旋分类问题42-43
• 2.7.2 人脸识别与人脸表情识别43-44
• 2.7.3 UCI数据库44-45
• 2.8 本章小结45-46
• 第三章 基于模糊密度和模糊积分的神经网络集成分类器46-55
• 3.1 引言46
• 3.2 模糊积分与神经网络集成46-48
• 3.2.1 模糊测度、模糊密度和模糊积分46-48
• 3.2.2 模糊积分在神经网络集成中的应用48
• 3.3 基于模糊积分的神经网络集成算法48-51
• 3.3.1 模糊密度和模糊积分的选择48-50
• 3.3.2 算法描述及流程50-51
• 3.4 实验51-54
• 3.4.1 实验环境和参数设置51
• 3.4.2 单个神经网络与多神经网络集成比较51-52
• 3.4.3 成员神经网络参数对结果影响52-53
• 3.4.4 不同模糊密度函数比较53-54
• 3.5 本章小结54-55
• 第四章 基于集成特征抽取和多维Adaboost算法的神经网络集成分类器55-67
• 4.1 引言55
• 4.2 集成特征抽取方法55-59
• 4.2.1 人脸图像的主成分分析（特征脸方法）56-57
• 4.2.2 Gabor滤波器57-58
• 4.2.3 集成特征抽取58-59
• 4.3 基于多维分类误差调整的Adaboost算法（MD-Adaboost）59-63
• 4.3.1 Adaboost在多类问题中的应用59-60
• 4.3.2 MD-Adaboost算法设计60-62
• 4.3.3 Adaboost与MD-Adaboost的比较62-63
• 4.4 实验和讨论63-65
• 4.4.1 实验环境63
• 4.4.2 多特征抽取算法的有效性63-65
• 4.4.3 MD-Adaboost与其他算法对比65
• 4.5 本章小结65-67
• 第五章 基于遗传算法的并行选择性神经网络集成分类器67-83
• 5.1 引言67-70
• 5.1.1 选择性集成67-68
• 5.1.2 选择策略的相关研究68-69
• 5.1.3 Mapreduce69-70
• 5.2 基于遗传算法的选择性集70-73
• 5.2.1 子网络的生成70-71
• 5.2.2 选择策略71-72
• 5.2.3 集成算法72-73
• 5.3 选择性集成算法的并行计算73-77
• 5.3.1 子神经网络的并行训练73-75
• 5.3.2 基于粗粒度并行遗传算法的选择和集成75-76
• 5.3.3 神经网络集成分类器并行的应用计算76-77
• 5.4 实验和讨论77-82
• 5.4.1 实验环境77
• 5.4.2 集成学习的效果77-78
• 5.4.3 选择性集成与一般集成的比较78-79
• 5.4.4 基于Mapreduce并行计算的优势79-80
• 5.4.5 神经网络集成的规模对算法的影响80-82
• 5.5 本章小结82-83
• 第六章 基于聚类和局部优化的并行选择性神经网络集成分类器83-101
• 6.1 引言83-85
• 6.1.1 全局优化选择策略83-84
• 6.1.2 聚类选择策略84-85
• 6.1.3 两类选择策略的分析比较85
• 6.2 基于聚类和局部优化的选择性神经网络集成算法（SNNE-KP）85-91
• 6.2.1 训练阶段87
• 6.2.2 聚类阶段87-88
• 6.2.3 类内局部优化选择阶段88-90
• 6.2.4 子神经网络集成阶段90
• 6.2.5 SNNE-KP算法小结90-91
• 6.3 SNNE-KP算法在并行计算环境中的实现91-93
• 6.3.1 并行计算的时间分析91-93
• 6.3.2 并行计算框架93
• 6.4 实验和讨论93-99
• 6.4.1 不同的集成算法在不同数据集上的比较93-96
• 6.4.2 个体神经网络分类数量的研究96-97
• 6.4.3 粒子群规模对集成的影响97-99
• 6.4.4 并行计算的优势99
• 6.5 本章小结99-101
• 第七章 并行神经网络集成在虚拟仿人机器人平台的应用101-113
• 7.1 引言101-102
• 7.2 虚拟仿人机器人平台设计的相关基础102-104
• 7.2.1 仿人机器人原型102
• 7.2.2 实验室网格平台102-103
• 7.2.3 混合神经网络计算平台103-104
• 7.3 虚拟仿人机器人平台104-105
• 7.3.1 虚拟仿人机器人VHR104-105
• 7.3.2 仿人机器人三维实时仿真系统105
• 7.4 基于并行神经网络集成的人脸识别105-108
• 7.4.1 基于特征脸算法的人脸特征提取和降维105-107
• 7.4.2 基于并行神经网络集成的分类判别107
• 7.4.3 功能机器人合作控制107-108
• 7.5 实验与分析108-111
• 7.5.1 实验配置108
• 7.5.2 实验结果108-111
• 7.6 本章小结111-113
• 结论与展望113-116
• 参考文献116-129
• 攻读博士学位期间取得的研究成果129-131
• 致谢131-132
• 附件132

【参考文献】

中国期刊全文数据库 前3条

1 顾晓敏;林锦国;梅雪;;基于模糊积分分类器融合的人脸识别[J];计算机工程;2010年18期

2 张春霞;张讲社;;选择性集成学习算法综述[J];计算机学报;2011年08期

3 傅强,胡上序,赵胜颖;基于PSO算法的神经网络集成构造方法[J];浙江大学学报(工学版);2004年12期

中国硕士学位论文全文数据库 前1条

1 吴畏;开放式仿人机器人控制平台设计与实现[D];华南理工大学;2012年

  本文关键词：神经网络集成分类方法及其在并行计算环境中的应用研究，，由笔耕文化传播整理发布。

本文编号：266484