基于代价敏感SVM的直接优化F-measure算法研究

发布时间：2017-03-18 17:00

  本文关键词：基于代价敏感SVM的直接优化F-measure算法研究，，由笔耕文化传播整理发布。

【摘要】：随着社会的发展、科学的进步,数据挖掘和机器学习等领域的研究正逐渐改变我们的生活。数据分类作为机器学习和数据挖掘领域的重要组成部分,成为众多学者的研究重点,人们提出了不同的分类算法来构建不同的分类器。以二分类为例,当样本数据分布不平衡时,为了更准确的度量分类器的性能,一般选用查准率和查全率的调和平均——F-measure作为评估标准。由于F-measure在不平衡分类的广泛应用,如何设计出有效的面向F-measure的分类器是近年来的研究热点。但是由于F-measure的非凸性,直接优化起来较为困难,现有的优化算法主要通过代价敏感算法或者直接优化算法构造面向F-measure的学习器。不同于已有的研究,本文以SVM为工具,提出一种结合代价敏感和直接优化F-measure的新型算法。本文的主要工作如下：(1)文中从二分类入手,介绍了基于支持向量机的二分类学习及不平衡二分类的度量标准F-measure,并在此基础上,分析了现有代价敏感算法和直接优化F-measure算法的研究现状,提出了一种将二者相融合的新方法。(2)新方法首先给出了从最大化F-measure到代价敏感SVM的一个直接转换。针对新的目标函数具备非光滑从而导致传统梯度优化算法难以直接使用的特点,提出使用基于次梯度的束方法进行求解。不仅可以解决上述问题,且算法的迭代次数仅为O(1),不依赖于样本数。不平衡数据集上的实验表明：相比起已有面向F-measure的分类器,本文所提算法得到的模型明显更加精确。(3)针对束方法在求解主问题最小值时是通过转换成对偶问题来解决的,而算法内部的每次迭代只能保证对偶问题的单调递增,并不能保证主问题的单调递减,可能降低算法的收敛速度。提出一个高效的线性搜索算法,确保了主问题的单调递减,消除了主问题的波动,进一步提高了算法的效率。大规模数据集上的实验表明,该算法不仅能获得高精度的二分类模型,且相比起已有其他直接优化F-measure算法也更为高效。
【关键词】：F-measure 支持向量机 不平衡二分类 代价敏感 束方法 线性搜索
【学位授予单位】：安徽大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP181;TP311.13
【目录】：

• 摘要3-4
• Abstract4-10
• 第一章 绪论10-14
• 1.1 研究背景及意义10-11
• 1.2 国内外研究现状11-12
• 1.3 本文的工作与安排12-14
• 第二章 相关理论14-28
• 2.1 二分类学习的概述14-17
• 2.2 支持向量机的概述17-21
• 2.2.1 支持向量机的基本原理17-18
• 2.2.2 线性支持向量机18-21
• 2.2.3 支持向量机的实现21
• 2.3 二分类学习的度量标准——F-measure21-24
• 2.4 代价敏感学习算法概述24-26
• 2.5 直接优化F-measure算法概述26-27
• 2.6 本章小结27-28
• 第三章 一种融合代价敏感与直接优化F-measure的新型算法28-41
• 3.1 从直接优化F-measure到代价敏感SVM28-30
• 3.2 基于束方法算法的优化30-35
• 3.2.1 束方法的基本思想30-33
• 3.2.2 基于束方法的求解过程33-35
• 3.3 实验结果与分析35-40
• 3.3.1 折中因子对实验结果影响36-37
• 3.3.2 代价参数对实验结果影响37-38
• 3.3.3 不同算法性能对比实验38-40
• 3.4 本章小结40-41
• 第四章 面向大规模应用的高效直接优化F-measure算法41-53
• 4.1 BM-CS算法的主问题波动41-42
• 4.2 高效直接优化F-measure算法的实现42-47
• 4.2.1 算法的基本思想42-46
• 4.2.2 高效线性搜索算法的实现46-47
• 4.3 算法的复杂度分析47-48
• 4.4 实验结果与分析48-52
• 4.4.1 实验数据集及比较算法48-49
• 4.4.2 对比实验与分析49-52
• 4.5 本章小结52-53
• 第五章 总结与展望53-55
• 5.1 论文总结53
• 5.2 工作展望53-55
• 参考文献55-60
• 致谢60-62
• 攻读硕士学位期间发表的论文62-63
• 攻读硕士学位期间参加的科研项目63

【相似文献】

中国期刊全文数据库 前10条

1 邹汪平;;一种基于网络安全控制的蜂群算法应用研究[J];吉林师范大学学报(自然科学版);2013年04期

2 李向伟;曹博;;时间参数在HITS算法中的应用及改进[J];兰州工业高等专科学校学报;2006年02期

3 吴涛;彭笃学;;一种改进的直线段裁剪算法[J];湛江师范学院学报;2008年03期

4 张瑞子;南琳;胡琨元;田景贺;;基于EPC Class-1 Gen-2标准的防冲突算法与改进[J];计算机工程;2009年02期

5 黄超;周宁;倪佑生;;基于蚁群算法的攻击图分析[J];计算机工程;2009年18期

6 秦永彬;许道云;;警示传播算法的原理分析及算法改进[J];计算机工程与应用;2010年19期

7 郭毅可;韩锐;;云计算中的弹性算法:概要和展望[J];上海大学学报(自然科学版);2013年01期

8 牛玉静;唐棣;;双步圆的反走样生成算法[J];计算机工程与应用;2010年23期

9 肖璞;;XML索引更新算法的改进[J];南京工程学院学报(自然科学版);2010年03期

10 周骏;陈鸣;张佳明;;两类频繁项算法在网络流上的适用性评估[J];计算机工程;2011年16期

中国重要会议论文全文数据库 前10条

1 黄纪武;毛泽华;李松涛;张锦雄;;SPMD并行查找算法的MPI实现[A];广西计算机学会——2004年学术年会论文集[C];2004年

2 黄纪武;毛泽华;李松涛;张锦雄;;SPMD并行查找算法的MPI实现[A];广西计算机学会2004年学术年会论文集[C];2004年

3 符丽锦;覃华;邓海;孙欣;;一种改进的Apriori算法的研究[A];广西计算机学会2012年学术年会论文集[C];2012年

4 王东锋;王军民;陈英武;;模糊定性仿真理论研究与算法实现[A];'2000系统仿真技术及其应用学术交流会论文集[C];2000年

5 赵唯;;晶粒度评级的改进算法[A];中国图象图形科学技术新进展——第九届全国图象图形科技大会论文集[C];1998年

6 刘启文;;可扩展的图形学算法演示系统的研究[A];’2004计算机应用技术交流会议论文集[C];2004年

7 佘智;蒋泰;朱延生;;基于Type C协议的防冲突改进算法[A];广西计算机学会25周年纪念会暨2011年学术年会论文集[C];2011年

8 朱绍文;赵培;朱秋云;;基于pSPADE并行挖掘序列算法的研究[A];2003年中国智能自动化会议论文集（下册）[C];2003年

9 杨霞;;新的基于启发式蚁群算法的QoS路由算法[A];广西计算机学会2009年年会论文集[C];2009年

10 陈黎飞;姜青山;董槐林;;基于图形轮廓的快速聚类算法[A];第二十三届中国数据库学术会议论文集（研究报告篇）[C];2006年

中国博士学位论文全文数据库 前10条

1 钟永腾;基于近场MUSIC算法的复合材料结构健康监测研究[D];南京航空航天大学;2014年

2 刘燕;入侵杂草优化算法在阵列天线综合中的应用[D];西安电子科技大学;2015年

3 苗义烽;突发事件下的列车运行调度模型与算法研究[D];中国铁道科学研究院;2015年

4 杨玉婷;头脑风暴优化算法与基于视频的非接触式运动定量分析方法研究[D];浙江大学;2015年

5 单美静;求解非线性实代数系统的混合算法研究[D];华东师范大学;2008年

6 邱剑锋;人工蜂群算法的改进方法与收敛性理论的研究[D];安徽大学;2014年

7 潘磊;若干社区发现算法研究[D];南京大学;2014年

8 陈俊波;频繁闭合项集挖掘算法及应用研究[D];浙江大学;2009年

9 陆楠;关联规则的挖掘及其算法的研究[D];吉林大学;2007年

10 范洪博;快速精确字符串匹配算法研究[D];哈尔滨工程大学;2011年

中国硕士学位论文全文数据库 前10条

1 安世勇;命题逻辑中随机3-SAT问题算法研究[D];西南交通大学;2015年

2 毕晓庆;油气探矿权竞争性出让系统设计与实现[D];中国地质大学(北京);2015年

3 王明明;铁路大机与线路固定设施间距检测算法研究[D];西南交通大学;2015年

4 李静;基于视频图像序列的运动目标检测与跟踪算法研究[D];宁夏大学;2015年

5 刘贝玲;基于天地图的租房平台开发及其关键技术研究[D];西南交通大学;2015年

6 曹海锋;IDS中串匹配臭算法并行优化研究[D];西安建筑科技大学;2015年

7 周攀;基于蚁群算法的山区高速铁路隧道火灾应急疏散最优路径研究[D];西南交通大学;2015年

8 张路奇;基于改进蚁群算法的WSN路由协议的研究[D];中国地质大学(北京);2015年

9 王晓晨;入侵杂草优化算法的应用与改进[D];长安大学;2015年

10 信琴琴;手势控制和识别算法研究[D];闽南师范大学;2015年

  本文关键词：基于代价敏感SVM的直接优化F-measure算法研究，由笔耕文化传播整理发布。

本文编号：254716