基于粗糙集的高维数据高效属性约简研究与应用

发布时间：2022-07-10 14:38

　　信息爆炸时代,数据挖掘过程中常常会因为处理大规模数据而遇到一系列挑战。而数据量大的原因不外乎样本基数大或者数据的属性维数过高两个原因,样本是非常宝贵的数据资源,不能轻易丢弃,所以人们往往在不严重影响挖掘结果的前提下,会考虑对属性进行选择与降维,这也是数据挖掘前必要的数据预处理步骤。基于粗糙集的属性约简是一种常用的降维手段,它能高效利用数据自身信息来降维,降维过程不需要人的经验知识,如不用设定阈值,而阈值的设定往往因人而异,这会导致数据挖掘的结果大相径庭。针对大多现有的约简算法在面对高维数据时存在计算复杂度高的问题,本文充分研究了高维数据的特点,从改进计算方法和约简流程两个方面展开研究。具体研究内容包括:1.针对基于正域的约简算法,分别从提高正域计算速度与改变约简流程两个角度对现有算法进行了优化。首先利用多进程技术,提出一种并行计算正域的方案,加快对每个属性可约性的判断。其次根据二分搜索思想,提出了一种二分约简算法,该算法可以先快速得到一个近似约简,然后结合已有的算法可以得到最终的约简结果。最后将粒计算思想引入到对约简流程的修改中,给出了多粒度属性树的定义,基于多粒度属性树设计了前序遍历... 

【文章页数】：74 页

【学位级别】：硕士

【部分图文】：

基于哈希表的快速正区域并行化计算流程

并行化前后正域计算时间对比

融合占用总共计算时间百分比

【参考文献】：
期刊论文
[1]加权模糊粗糙约简[J]. 范星奇,李雪峰,赵素云,陈红,李翠平.  计算机科学. 2018(01)
[2]基于人工智能的知识服务研究[J]. 唐晓波,李新星.  图书馆学研究. 2017(13)
[3]并行机器学习算法基础体系前沿进展综述[J]. 刘斌,何进荣,耿耀君,王最.  计算机工程与应用. 2017(11)
[4]高维数据变量选择方法综述[J]. 曾津,周建军.  数理统计与管理. 2017(04)
[5]一种基于概率粗糙集的属性约简加速算法[J]. 刘芳,李天瑞.  计算机科学. 2016(12)
[6]一种新的决策粗糙集启发式属性约简算法[J]. 常红岩,蒙祖强.  计算机科学. 2016(06)
[7]统计粗糙集[J]. 陈俞,赵素云,陈红,李翠平,孙辉.  软件学报. 2016(07)
[8]粗糙集属性约简算法综述[J]. 唐卫国,张涛,罗奕,徐晋勇.  大众科技. 2015(11)
[9]粗糙集属性约简在文本分类中的性能研究[J]. 赵靖,皮建勇.  微型机与应用. 2015(21)
[10]一种基于粗糙集理论的快速并行属性约简算法[J]. 肖大伟,王国胤,胡峰.  计算机科学. 2009(03)

博士论文
[1]粗糙集理论中的知识获取与约简方法的研究[D]. 张明.南京理工大学 2012
[2]流形学习理论与方法及其应用研究[D]. 詹宇斌.国防科学技术大学 2011
[3]基于粗糙集的不完备信息系统知识获取理论与方法[D]. 黄兵.南京理工大学 2004

硕士论文
[1]深度学习中的自编码器的表达能力研究[D]. 王雅思.哈尔滨工业大学 2014



本文编号：3657869