基于乌鸦搜索算法的特征选择算法的研究及改进优化

发布时间：2020-07-15 04:01

【摘要】：特征选择是一个从原始数据集中选择出最优特征子集的过程,它是通过降低数据集维度来提高学习算法性能的重要手段,也是机器学习过程中关键的数据预处理步骤。在保证一定分类精度的前提下,使用特征选择方法删除数据集中不相关和冗余的特征,解决了数据集中特征数量庞大、特征之间相互作用复杂的问题,从而降低后续机器学习任务中的难度,使分类器的工作既快又准确。元启发式算法是指一类通用型的启发式算法。在时间和成本有限的条件下,元启发式算法有助于在有限的时间内从巨大的解空间中找到近似最优解。学者们试图将元启发式算法应用到求解复杂的特征选择问题,其中受大自然启发的元启发式算法在各个领域证明了他们的潜力,可以为不同的优化问题提供解决方案。但是,至今没有特定的算法能给出所有优化问题的最佳解决方案。基于自然现象、物种智慧及觅食行为,学者们提出了许多基于不同理论和技术的算法,例如以遗传算法为代表的传统进化算法、蚁群优化、粒子群优化、布谷鸟搜索算法、萤火虫算法等。同样受到自然灵感启发的乌鸦搜索算法(Crow search algorithm,简称Cr SA)是一种新型的元启发式算法,它是由Askarzadeh在2016年提出。该算法的主要思想是:乌鸦作为一种群居鸟类,它具有导航的能力,存储和寻找食物的智慧,以及避免自己的食物被其他同伴偷取的聪明大脑。通过对Cr SA的分析,我们发现可以利用Cr SA解决离散空间搜索问题,特别是求解特征选择问题。由此,我们提出基于乌鸦搜索算法的特征选择算法(Feature selection using crow search algorithm,简称FSCr SA)。为了验证FSCr SA的有效性,我们将FSCr SA用在三种分类器上指导学习过程,分别为SVM,J48和KNN分类器,并且在多个数据集上进行实验。通过与传统的机器学习特征选择算法和基于进化计算的特征选择算法比较,FSCr SA能够在数据集中选择辨识度较强的特征,不仅大幅度降低了特征子集的规模,而且提高了分类准确率。通过对FSCr SA的分析,我们发现算法在初始化以及搜索阶段具有局限性,导致维度缩减能力不高,由此我们对FSCr SA进行改进,提出了Improved Feature Selection UsingCrow Search Algorithm(简称:IFSCr SA)。我们使用反向学习搜索策略设置乌鸦在离散空间的初始位置,利用反向学习的优点,使算法的初始值不是完全随机,我们选择较优的初始值作为初始位置从而提高寻优速度;采用Lévy飞行方法平衡全局搜索与局部搜索,通过Lévy飞行步长的调节,使算法在前期不过早陷入局部最优,在后期又能快速收敛于全局最优;我们同时提出使用贪婪策略的更新机制,从而进一步加快算法的收敛速度。通过实验结果可以证明,相比于FSCr SA,IFSCr SA在不降低分类准确率的条件下,维度缩减能力更强。
【学位授予单位】：吉林大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP18
【图文】：

选择特征

更新特征

FSCrSA及对比算法的分类准确率折线图

【相似文献】

相关期刊论文 前10条

1 吴中华;郑玮;;基于?_(2,1)范数的在线流特征选择算法[J];计算机与数字工程;2019年06期

2 代琨;于宏毅;马学刚;李青;;基于支持向量机的特征选择算法综述[J];信息工程大学学报;2014年01期

3 陈建华;王治和;蒋芸;许虎寅;樊东辉;;一种改进的文本分类特征选择算法[J];微电子学与计算机;2011年12期

4 张文静;王备战;张志宏;;基于图的特征选择算法综述[J];安徽大学学报(自然科学版);2017年01期

5 孙刚;张靖;;面向高维微阵列数据的集成特征选择算法[J];计算机工程与科学;2016年07期

6 张自敏;;大数据中基于稀疏投影的在线特征选择算法[J];湖南科技大学学报(自然科学版);2018年03期

7 陈晓明;;海量高维数据下分布式特征选择算法的研究与应用[J];科技通报;2013年08期

8 李富星;蒙祖强;;一种改进的类别区分词特征选择算法[J];计算机与现代化;2019年03期

9 刘飞飞;;特征选择算法及应用综述[J];办公自动化;2018年21期

10 侯屿;秦小林;彭皓月;张力戈;;全局调距和声特征选择算法[J];计算机工程与应用;2019年02期

相关会议论文 前10条

1 甄超;郑涛;许洁萍;;音乐流派分类中特征选择算法研究[A];第18届全国多媒体学术会议（NCMT2009）、第5届全国人机交互学术会议（CHCI2009）、第5届全国普适计算学术会议（PCC2009）论文集[C];2009年

2 陈伟海;李建军;赵志华;曹丹阳;李晋宏;;数据挖掘特征选择算法研究及其在铝电解中的应用[A];2011中国有色金属行业仪表自动化学术会议论文集[C];2011年

3 张仰森;曹元大;;最大熵建模方法中一种改进的特征选择算法[A];NCIRCS2004第一届全国信息检索与内容安全学术会议论文集[C];2004年

4 张铮;胡社教;江萍;;基于EP模式的特征选择算法[A];2011中国仪器仪表与测控技术大会论文集[C];2011年

5 周炎涛;唐剑波;王家琴;;基于信息熵的改进TFIDF特征选择算法[A];第二十六届中国控制会议论文集[C];2007年

6 徐燕;孙春明;王斌;李锦涛;;基于词条频率的特征选择算法研究[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年

7 李文法;段m#毅;刘悦;孙春来;;一种面向流分类的特征选择算法[A];第四届全国信息检索与内容安全学术会议论文集（上）[C];2008年

8 戴键;杨宏晖;;用于水声目标识别的自适应免疫克隆特征选择算法[A];2011'中国西部声学学术交流会论文集[C];2011年

9 杨宏晖;李江涛;甘安琴;姚晓辉;;用于水下目标识别的无监督谱特征选择算法[A];2016年中国造船工程学会水中目标特性学组学术交流会论文集[C];2016年

10 罗勇;周超;许超;;文本分类在商品广告分类中的应用[A];全国第五届信号和智能信息处理与应用学术会议专刊(第一册)[C];2011年

相关博士学位论文 前10条

1 高万夫;基于序列前向选择策略的过滤算法研究[D];吉林大学;2019年

2 田肃岩;吸纳通路信息识别相关基因的特征选择算法的研究[D];吉林大学;2018年

3 黄鑫;基于特征关联关系的特征选择算法研究[D];大连理工大学;2018年

4 李云;特征选择算法及其在基于内容图像检索中的应用研究[D];重庆大学;2005年

5 张靖;面向高维小样本数据的分类特征选择算法研究[D];合肥工业大学;2014年

6 刘华文;基于信息熵的特征选择算法研究[D];吉林大学;2010年

7 史彩娟;网络空间图像标注中半监督稀疏特征选择算法研究[D];北京交通大学;2015年

8 杨杰明;文本分类中文本表示模型和特征选择算法研究[D];吉林大学;2013年

9 潘巍巍;故障严重程度识别的有序分类特征分析方法[D];哈尔滨工业大学;2013年

10 杨峻山;生物组学数据的集成特征选择研究[D];深圳大学;2017年

相关硕士学位论文 前10条

1 李飞;基于层次聚类的生物数据特征选择算法的研究与实现[D];吉林大学;2019年

2 王颖;基于乌鸦搜索算法的特征选择算法的研究及改进优化[D];吉林大学;2019年

3 李森;基于多目标进化优化的癌症数据特征选择算法研究[D];安徽大学;2019年

4 郭伟;大样本高维数据下基于进化多目标优化的特征选择算法研究[D];安徽大学;2019年

5 唐莉;基于样本差异性分析的多标记特征选择算法研究[D];闽南师范大学;2019年

6 李昌聪;基于代价敏感的特征选择算法研究及应用[D];兰州大学;2019年

7 赵凯;Android恶意应用检测中特征选择算法的研究[D];湖南大学;2016年

8 赵军;基于Top-r方法的特征选择算法研究[D];湖南大学;2014年

9 樊力文;基于Spark的稳定特征及流式特征选择算法研究[D];河南大学;2018年

10 脱倩娟;基于数据相似性的特征选择算法研究[D];闽南师范大学;2018年

本文编号：2755948