基于密度裁剪的SVM与AdaBoost-KNN结合的分类算法研究

发布时间：2020-10-14 13:53

　　 随着大数据时代的来临,人们面临着怎样从大量的数据中得到他们想要的有价值的知识的问题。在这一需求之下数据挖掘随之诞生,并迅速成为了一个热门的研究课题。数据分类作为数据挖掘中重要的一节,通过采用高效的分类算法分析数据找出其中存在的联系,从而尽可能准确的预测待测样本的类别。其中支持向量机SVM算法因其在实际应用中能够有效解决数据分类过程中遇到的非线性、高维度、过学习等问题而具有较明显的优势,成为目前比较流行的数据分类算法。但是传统SVM算法在学习阶段计算量与样本数量成正比,因此在处理海量数据时,计算量巨大,在学习阶段耗费过多的时间;学习样本中存在的噪声数据影响分类超平面的正确划分,从而降低该算法的分类精度。而且在测试阶段,分类超平面附近易发生错分。本文针对SVM分类方法中存在的不足给出了改进的方案。首先对原始学习数据集根据密度做裁剪预处理,把处理后的数据集作为新的学习数据集,在新的学习数据集上进行SVM参数寻优操作,通过学习获得最佳分类决策函数。然后在测试阶段,将待测样本带入决策函数中,若函数值大于设定的阈值,则以SVM预测的类别作为待测样本的类别,反之使用AdaBoost.M1-KNN算法重新预测。由于在预处理阶段有效地裁剪掉大量的多余的学习样本,包括大部分的噪声样本也被裁剪掉,因此有效地降低了学习阶段的计算量,使分类超平面的划分更准确,从而提高了SVM的分类准确率。对于出现在SVM分类超平面附近的待测样本不能被正确分类的情况,引入AdaBoost.M1-KNN分类算法,使得分类准确率进一步提高。将该算法应用到10组UCI数据集上,实验结果表明:本文提出的基于密度裁剪的SVM与AdaBoost.M1-KNN结合的分类算法同传统SVM分类算法相比有效地提高了分类准确率,且降低了SVM的学习时间,因此该方案是可行有效的。
【学位单位】：青岛大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP181
【文章目录】：
摘要
abstract
第一章 绪论
    1.1 研究背景和意义
    1.2 国内外研究现状
    1.3 本文工作和内容结构
    1.4 本章小结
第二章 相关技术综述
    2.1 SVM算法
        2.1.1 SVM方法的基本思想
        2.1.2 SVM的形式化描述
        2.1.3 SVM的多类别预测识别
        2.1.4 SVM参数
    2.2 KNN算法
        2.2.1 KNN算法简介
        2.2.2 KNN算法流程
    2.3 AdaBoost系列算法
        2.3.1 AdaBoost算法
        2.3.2 Adaboost.M1算法
    2.4 本章小结
第三章 基于密度裁剪的SVM算法
    3.1 算法提出的背景
    3.2 密度裁剪算法
        3.2.1 密度裁剪原理
        3.2.2 密度裁剪算法步骤
        3.2.3 参数确定
    3.3 基于密度裁剪的SVM算法实现
    3.4 实验结果与分析
    3.5 本章小结
第四章 AdaBoost-KNN算法
    4.1 AdaBoost-KNN算法
    4.2 AdaBoost-KNN算法实现
    4.3 AdaBoost.M1-KNN算法实现
    4.4 实验结果与分析
        4.4.1 数据集采集
        4.4.2 数据预处理
        4.4.3 算法评判标准
        4.4.4 AdaBoost-KNN预测识别结果
        4.4.5 三个分类算法的预测识别结果
    4.5 本章小结
第五章 基于密度裁剪的SVM与AdaBoost-KNN结合的分类算法
    5.1 SVM参数优化
        5.1.1 遗传算法
        5.1.2 粒子群算法
        5.1.3 网格搜索算法
        5.1.4 算法小结
    5.2 基于密度裁剪的SVM与AdaBoost-KNN结合的预测识别算法
        5.2.1 算法的学习阶段
        5.2.2 算法的测试阶段
    5.3 实验结果与分析
    5.4 本章小结
第六章 总结与展望
    6.1 本文的主要工作总结
    6.2 展望
参考文献
攻读学位期间研究成果
致谢

【相似文献】

相关期刊论文 前10条

1 蒋焰;丁晓青;;基于多步校正的改进AdaBoost算法[J];清华大学学报(自然科学版)网络.预览;2008年10期

2 王奕然;张新峰;;基于AdaBoost级联框架的舌色分类[J];北京生物医学工程;2020年01期

3 李军;闫佳佳;;基于KELM-AdaBoost方法的短期风电功率预测（英文）[J];控制工程;2019年03期

4 王伦;;Adaboost-SVM多因子选股模型[J];经济研究导刊;2019年10期

5 叶晓波;秦海菲;吕永林;;一种改进的Adaboost-BP算法在手写数字识别中的研究[J];大理大学学报;2019年06期

6 严智;张鹏;谢川;张钰林;李保军;;一种快速AdaBoost.RT集成算法时间序列预测研究[J];电子测量与仪器学报;2019年06期

7 李闻;王显博;;基于Adaboost算法的人脸检测的研究[J];中外企业家;2019年26期

8 李伟;严珂;陆慧娟;叶敏超;;基于Adaboost.RT算法的隧道沉降时间序列预测研究[J];中国计量大学学报;2019年03期

9 王玲娣;徐华;;AdaBoost的多样性分析及改进[J];计算机应用;2018年03期

10 杜瑞超;华继学;翟夕阳;李志鹏;;基于改进Real AdaBoost算法的软件可靠性预测[J];空军工程大学学报(自然科学版);2018年01期

相关博士学位论文 前10条

1 刘冲;模拟电路故障诊断AdaBoost集成学习方法研究[D];大连海事大学;2011年

2 Ebenezer Owusu;[D];江苏大学;2014年

3 习文星;移动背景下视觉的行人检测、识别与跟踪技术研究[D];中国科学院研究生院(上海技术物理研究所);2015年

4 卢金娜;基于优化算法的径向基神经网络模型的改进及应用[D];中北大学;2015年

5 卢岩;交通监控中的运动人体目标检测与跟踪[D];中国科学院研究生院（长春光学精密机械与物理研究所）;2011年

6 王小明;可变光照下人脸检测与识别研究[D];华东师范大学;2010年

7 孙元;多媒体语义检索关键问题研究[D];吉林大学;2010年

8 王颖;成熟microRNA识别及其功能预测方法研究[D];哈尔滨工程大学;2016年

9 吴暾华;面向中医面诊诊断信息提取的若干关键技术研究[D];厦门大学;2008年

10 高常鑫;基于上下文的目标检测与识别方法研究[D];华中科技大学;2010年

相关硕士学位论文 前10条

1 李阳;基于卷积神经网络与AdaBoost算法的实时行人检测系统研究[D];重庆邮电大学;2019年

2 孟亚琼;改进的Adaboost算法在基因表达数据中的应用[D];中国计量大学;2018年

3 孙结冰;基于Adaboost人脸检测算法的多人标识系统研发[D];黑龙江大学;2019年

4 范支菊;基于密度裁剪的SVM与AdaBoost-KNN结合的分类算法研究[D];青岛大学;2019年

5 秦润蒙;基于SVM和KNN算法的地理标志大米掺假鉴别模型研究[D];吉林农业大学;2019年

6 郑伟华;基于MCP惩罚的AdaBoost集成剪枝技术的研究[D];江西财经大学;2019年

7 赵晋川;融合AdaBoost和GRU方法的地质分层识别研究[D];华北电力大学(北京);2019年

8 赵云红;基于Adaboost改进的BP神经网络地表沉陷预测研究[D];西安科技大学;2019年

9 陈天昕;基于AdaBoost与SVM集成算法的高炉炉温状态解析[D];江西财经大学;2019年

10 刘树灿;基于BP_Adaboost算法的轨面状态识别研究[D];湖南工业大学;2019年

本文编号：2840754