支持向量机关键技术及其在人体活动识别中的应用研究

发布时间：2017-06-07 22:05

  本文关键词：支持向量机关键技术及其在人体活动识别中的应用研究，由笔耕文化传播整理发布。

【摘要】：支持向量机本质上是一个线性不等式约束下的凸二次优化问题,它通过计算最佳分割超平面实现对两类数据的分类,所得的分类超平面到其两边离它最近的数据点的距离相等。对于非线性可分数据,支持向量机往往通过核函数的映射,在新的Hilbert特征空间中搜索最优超平面。支持向量机完全由支持向量决定,支持向量是处于不同类数据边缘区域的包含信息量最大的数据点。支持向量机存在的主要问题在于：涉及到核矩阵内积运算、核函数及支持向量机相关参数的寻优运算等,经典支持向量机训练和预测的速度比较慢；传统的支持向量机在对类不均衡数据分类时,由于少数类数据的缺失,尤其是少数类数据边缘区域数据点的缺乏,将导致决策超平面向少数类一侧偏移,严重影响了其对少数类数据的泛化能力；支持向量机是两类数据的分类算法,不适宜直接处理多类数据的分类问题。支持向量机在面对规模较大的多类类不均衡数据(Multi-Class Class Imbalanced Data)时,前面述及的问题尤为突出。针对以上问题,本文对支持向量机基于网格搜索的参数寻优机制进行了研究；通过融合数据预处理、数据特征抽取等方法对基于系综学习的支持向量机进行了研究；在支持向量机不均衡数据分类等方面做了一些工作；研究了基于多线程并行化的不均衡数据多分类支持向量机系综学习方法,并在人体活动识别领域进行了应用研究。本文的主要研究成果如下：(1)提出了一种基于多级网格搜索的支持向量机算法——PMSVM。该算法首先用较粗粒度的步长在一个较大的空间内进行参数搜索,然后根据得到的中间结果,自适应调整网格搜索的边界及步长值,在缩减了的搜索空间内用较细粒度的步长进行新的迭代,重复这一过程,直到得到最佳的参数值。网格搜索属于典型的贪婪算法,通过逐步缩减搜索空间及调整步长,能够极大地提高网格搜索的效率。本文在利用系统归一化及主成分分析进行数据预处理的基础上,融合了所提出的多级网格搜索技术,实现了支持向量机分类算法,并通过实验,在多个分层抽样数据集及随机抽样数据集上验证了PMSVM这一支持向量机分类算法的准确性与高效性。(2)提出了一种基于系综学习的支持向量机分类算法——PEnSVM。首先对原始数据集按列进行归一化,接着在归一化数据集上进行holdout抽样,在得到的训练集上以一个给定的主成分阈值选择相应比例的主成分作为真正的训练集,并在该训练集上构建基支持向量机分类器。自动调整主成分阈值,重复holdout抽样及其后的PCA及基支持向量机分类器的建模过程,直到得到所需数量的基分类器(Base Classifier)为止。传统的系综学习方法都是将多个同质的基分类器集成以得到总的系综学习模型,本文通过将构建在不同阂值主成分基础上的差异化的基支持向量机分类器用Bagging方法进行集成,并运用多数投票策略实现了最终的系综学习支持向量机算法。通过实验,在5个Benchmark数据集上测试了PEnSVM算法的性能,证明了算法的有效性与鲁棒性。(3)提出了一种在KNN图与最小生成树基础上进行SMOTE过抽样的支持向量机不均衡数据分类算法——KMSSVM。该方法首先在不均衡数据集的作为少数类的正类数据上构建KNN图,然后生成该KNN图的最小生成树(MST)。进一步,在所得的最小生成树的叶节点上,通过SMOTE算法插入满足要求的新的合成样本。利用KNN图能够清除数据集中的部分离群点。传统的SMOTE算法通过随机选择正类样本以插入新数据点。本文通过在KNN图上构建MST,所选择出的MST的叶节点应该是该类数据边缘区域的数据点,在这些点与其同类的K近邻间插值,得到的均衡化数据集更有利于训练得到对少数类数据泛化能力更高的支持向量机。通过在不均衡程度不一的3个UCI Benchmark数据集上的实验,证明了KMSSVM是个有效的不均衡数据分类算法。(4)提出了一种基于多分类的系综学习支持向量机不均衡数据分类算法——BEnSVM。该方法通过分层自助抽样,将原始数据集划分成很多微子集,然后在每个微子集上用One-Versus-One方法构建基多分类支持向量机,BEnSVM就是为数众多的基多分类支持向量机分类器按多数投票原则集成后实现的,该算法适合于大规模多类不均衡数据的分类。初始的多分类基支持向量机建立在备个微子集上,使得支持向量机对偶形式的计算复杂度以几个数量级的方式降低,而且用于构建多分类支持向量机的弱二分类支持向量机分类器是以多线程并行的方式编程实现的,进一步降低了计算复杂度。通过在一个真实的包含有165,633条数据样本的,拥有5个不同类标签的不均衡人体活动识别数据集上的实验,证明了BEnSVM是一个计算复杂度较低、分类精度较高的多分类不均衡数据支持向量机分类算法。
【关键词】：统计学习理论 支持向量机 分类 核函数 网格搜索 系综学习 不均衡学习 人体活动识别
【学位授予单位】：兰州大学
【学位级别】：博士
【学位授予年份】：2015
【分类号】：TP18
【目录】：

• 中文摘要3-5
• ABSTRACT5-14
• 第1章 绪论14-27
• 1.1 研究背景与意义14-17
• 1.2 国内外研究现状17-22
• 1.2.1 支持向量机研究现状17-21
• 1.2.2 人体活动识别研究现状21-22
• 1.3 论文的研究内容与组织22-27
• 1.3.1 本文主要工作及贡献22-24
• 1.3.2 论文的组织结构24-27
• 第2章 统计学习理论与支持向量机27-46
• 2.1 统计学习理论基础27-36
• 2.1.1 机器学习及其发展历程27-30
• 2.1.2 统计学习理论的发展历程30-31
• 2.1.3 学习过程的一致性31-32
• 2.1.4 VC维32-34
• 2.1.5 推广性的界34-35
• 2.1.6 结构风险最小化准则35-36
• 2.2 最优分类超平面与支持向量机36-45
• 2.2.1 最优分类超平面36-38
• 2.2.2 最优分类超平面的构造38-41
• 2.2.3 支持向量机41-45
• 2.3 小结45-46
• 第3章 基于PCA及多级网格搜索的支持向量机算法46-69
• 3.1 简介46
• 3.2 支持向量机的数学本质46-52
• 3.2.1 分类的概念46-47
• 3.2.2 支持向量机的数学过程47-52
• 3.3 主成分分析52-53
• 3.4 PMSVM分类模型53-56
• 3.4.1 系统归一化53-54
• 3.4.2 分层K折交叉验证54
• 3.4.3 多级网格搜索54-56
• 3.5 实验分析56-68
• 3.5.1 实验数据集及数据预处理56-57
• 3.5.2 实验结果及讨论57-68
• 3.6 小结68-69
• 第4章 基于PCA及系综学习的支持向量机算法69-81
• 4.1 简介69
• 4.2 C-SVC支持向量机与核函数69-76
• 4.2.1 原始问题的提出69-70
• 4.2.2 原始问题与对偶问题的关系70-72
• 4.2.3 构建C-SVC支持向量机分类器72
• 4.2.4 Hilbert空间与核函数72-76
• 4.3 PENSVM系综学习模型76-77
• 4.3.1 PEnSVM的基本思想76
• 4.3.2 PEnSVM模型框图及伪码表示76-77
• 4.4 实验分析77-80
• 4.4.1 实验数据集及数据预处理78
• 4.4.2 实验结果及讨论78-80
• 4.5 小结80-81
• 第5章 基于少数类过抽样的支持向量机不均衡数据分类81-96
• 5.1 简介81-82
• 5.2 不均衡学习82-87
• 5.2.1 问题的本质82-84
• 5.2.2 不均衡学习算法性能评估指标84-87
• 5.3 算法基本思想87-89
• 5.3.1 KNN图及最小生成树的构建87-88
• 5.3.2 合成样本产生方式的优化88
• 5.3.3 所提出的过抽样方法88-89
• 5.4 实验分析89-95
• 5.4.1 实验采用的数据集89-91
• 5.4.2 实验结果及讨论91-95
• 5.5 小结95-96
• 第6章 BENSVM及其在人体活动识别中的应用研究96-111
• 6.1 简介96-97
• 6.2 BENSVM算法的基本思想97-98
• 6.3 实验分析98-110
• 6.3.1 数据集及数据预处理98-104
• 6.3.2 实验结果及讨论104-110
• 6.4 小结110-111
• 第7章 总结与展望111-114
• 7.1 本文工作总结111-112
• 7.2 后续工作展望112-114
• 参考文献114-120
• 在学期间的研究成果120-122
• 致谢122

【相似文献】

中国期刊全文数据库 前10条

1 吴娟;范玉妹;王丽;;关于改进的支持向量机的研究[J];攀枝花学院学报;2006年05期

2 刘硕明;刘佳;杨海滨;;一种新的多类支持向量机算法[J];计算机应用;2008年S2期

3 尹传环;牟少敏;田盛丰;黄厚宽;;单类支持向量机的研究进展[J];计算机工程与应用;2012年12期

4 王云英;阎满富;;C-支持向量机及其改进[J];唐山师范学院学报;2012年05期

5 李逢焕;;试述不确定支持向量机应用分析及改进思路[J];中国证券期货;2012年12期

6 邵惠鹤;支持向量机理论及其应用[J];自动化博览;2003年S1期

7 曾嵘,蒋新华,刘建成;基于支持向量机的异常值检测的两种方法[J];信息技术;2004年05期

8 张凡,贺苏宁;模糊判决支持向量机在自动语种辨识中的研究[J];计算机工程与应用;2004年21期

9 魏玲,张文修;基于支持向量机集成的分类[J];计算机工程;2004年13期

10 沈翠华,邓乃扬,肖瑞彦;基于支持向量机的个人信用评估[J];计算机工程与应用;2004年23期

中国重要会议论文全文数据库 前10条

1 余乐安;姚潇;;基于中心化支持向量机的信用风险评估模型[A];第六届（2011）中国管理学年会——商务智能分会场论文集[C];2011年

2 刘希玉;徐志敏;段会川;;基于支持向量机的创新分类器[A];山东省计算机学会2005年信息技术与信息化研讨会论文集（一）[C];2005年

3 史晓涛;刘建丽;骆玉荣;;一种抗噪音的支持向量机学习方法[A];全国第19届计算机技术与应用（CACIS）学术会议论文集（下册）[C];2008年

4 何琴淑;刘信恩;肖世富;;基于支持向量机的系统辨识方法研究及应用[A];中国力学大会——2013论文摘要集[C];2013年

5 刘骏;;基于支持向量机方法的衢州降雪模型[A];第五届长三角气象科技论坛论文集[C];2008年

6 王婷;胡秀珍;;基于组合向量的支持向量机方法预测膜蛋白类型[A];第十一次中国生物物理学术大会暨第九届全国会员代表大会摘要集[C];2009年

7 赵晶;高隽;张旭东;谢昭;;支持向量机综述[A];全国第十五届计算机科学与技术应用学术会议论文集[C];2003年

8 周星宇;王思元;;智能数学与支持向量机[A];2005年中国智能自动化会议论文集[C];2005年

9 颜根廷;马广富;朱良宽;宋斌;;一种鲁棒支持向量机算法[A];2006中国控制与决策学术年会论文集[C];2006年

10 侯澍e，

本文编号：430427