基于MapReduce的改进离散型萤火虫算法和多重分形的属性约简方法研究

发布时间：2020-06-15 16:06

【摘要】：在机器学习和数据挖掘领域中,属性约简是进行数据预处理的一个关键环节。属性约简通过将原始数据集的噪音属性进行约简,在达到维数约简目的同时又能够保留原始数据集的特征。本文采用多重分形维数作为属性子集的评价准则,以萤火虫优化算法作为搜索策略,以求解属性约简问题。同时针对大数据环境下的属性约简问题,本文引入MapReduce并行编程模式,对提出的属性约简方法进行并行化改进,以提高算法运行效率。论文主要研究工作如下:(1)提出了基于MapReduce的改进离散型萤火虫算法和多重分形的属性约简方法(MR-IDGSO)。首先,通过对萤火虫个体的移动方式进行离散化改进,引入迁徙策略和高斯变异策略,避免算法陷入局部最优,提出了改进离散型萤火虫算法(IDGSO);其次与多重分形(MFD)相结合应用于属性约简中;最后针对大数据环境下的属性约简问题,采用MapReduce编程模式,实现对IDGSO和MFD并行化。在UCI数据集和实际气象数据集上的实验表明,该方法的约简性能和运行效率性能较优,具有较好的有效性和可行性。(2)将本文提出的MR-IDGSO方法应用到雾霾预测领域。采用MR-IDGSO方法对雾霾气象数据集进行属性约简,筛选出关键致霾因子,为雾霾预测提供有效的数据,然后选择SVM算法对约简出来的关键致霾因子进行分类准确率验证,通过北京、上海和广州三个地区的雾霾数据集的测试,验证了本文方法在雾霾预测领域中的可行性和有效性。
【学位授予单位】：合肥工业大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：X513;TP18

【相似文献】

相关期刊论文 前10条

1 盛文;任吉;;高频雷达海杂波的多重分形建模方法研究[J];电波科学学报;2011年05期

2 刘良坤;;确定股票时间序列的多重分形类型[J];金融理论与实践;2009年05期

3 洪时中;黄登仕;;多重分形与地震[J];四川地震;1991年02期

4 王宏勇;陈晓娜;;国内外原油市场的交互相关性分析——基于多重分形的统计测度[J];统计与信息论坛;2015年12期

5 陈红;蔡晓霞;徐云;刘文涛;;基于多重分形特征的通信调制方式识别研究[J];电子与信息学报;2016年04期

6 宋光辉;吴栩;詹素卿;柴曼昕;;行业指数相关关系的多重分形时变性及实证分析[J];统计与信息论坛;2013年07期

7 关键;刘宁波;张建;宋杰;;海杂波的多重分形关联特性与微弱目标检测[J];电子与信息学报;2010年01期

8 文战久;高星;姚振兴;;基于“元素含量—面积”模型方法的地球化学场的多重分形模式分析[J];地球科学进展;2007年06期

9 谢洪波;黄海;王志中;袁佳宁;;心室纤颤和心动过速的多重分形分析[J];数据采集与处理;2006年01期

10 成秋明; yorku.ca;王仁铎;;离散多重分形与地质过程[J];地质科学译丛;1997年01期

相关会议论文 前10条

1 谢淑云;鲍征宇;;地球化学场的分形与多重分形特征[A];中国矿物岩石地球化学学会第九届学术年会论文摘要集[C];2003年

2 宁新宝;王俊;;生理信号中的多重分形[A];中国生物医学工程学会第六次会员代表大会暨学术会议论文摘要汇编[C];2004年

3 吴刚;江国和;陈必文;;基于多重分形去趋势法的柴油机振动状态监测[A];第十七届船舶水下噪声学术讨论会论文集[C];2019年

4 张颖;路影;;时尚商品价格时间序列的多重分形分析[A];2007中国控制与决策学术年会论文集[C];2007年

5 谢平;刘彬;王霄;林洪彬;;多重分形熵及其在非平稳信号分析中的应用研究[A];第七届青年学术会议论文集[C];2005年

6 王金东;王巍;李宏灿;李新伟;;往复压缩机轴承故障的多重分形特征提取[A];2008年全国振动工程及应用学术会议暨第十一届全国设备故障诊断学术会议论文集[C];2008年

7 吴飞;王翠香;;随机数的几种产生方法及其在多重分形模型中的应用研究[A];中国地球物理第二十一届年会论文集[C];2005年

8 陈时军;魏绪云;刘元生;马丽;;中国大陆地区地震活动时空分布多重分形特征研究[A];山东地球物理六十年[C];2009年

9 那木吉拉;陈志军;;戈壁覆盖区遥感信息提取阈值确定的多重分形方法探讨[A];第十二届全国数学地质与地学信息学术研讨会论文集[C];2013年

10 陈丽;黄登仕;魏宇;王进朝;;基于多重分形的企业岗位分布测度理论研究[A];第十一届中国管理科学学术年会论文集[C];2009年

相关博士学位论文 前10条

1 赵彤洲;基于高频水位数据的多重分形及非平稳性分析[D];华中科技大学;2018年

2 符维娟;基因组序列CGR图形的多重分形分析及应用[D];复旦大学;2005年

3 王升辉;IP网络业务流量多重分形建模和预测研究[D];北京交通大学;2007年

4 王访;作物诊断的叶片图像多重分形方法与建模[D];湖南农业大学;2013年

5 李大辉;网络视频流量的多重分形建模与多步预测研究[D];哈尔滨工程大学;2012年

6 张琛;面向PM2.5空气污染分析的多重分形方法研究[D];合肥工业大学;2016年

7 Salah Fadlallah Awadelseid;中国东南部德兴斑岩铜矿床热液成矿作用的地球化学特征及多重分形分析[D];中国地质大学;2015年

8 谢淑云;地球化学场的分形与多重分形特征[D];中国地质大学;2003年

9 王民;基于GIS的流域地貌多重分形特征与侵蚀产沙关系研究[D];西安理工大学;2009年

10 范一飞;基于分形和多重分形的海面微弱目标检测方法研究[D];西安电子科技大学;2016年

相关硕士学位论文 前10条

1 陆玉佳;基于MapReduce的改进离散型萤火虫算法和多重分形的属性约简方法研究[D];合肥工业大学;2019年

2 李俊;基于时间窗的能源市场多重分形特征和风险研究[D];武汉理工大学;2017年

3 丁砥;基于多重分形土壤热传导参数空间分布异构性探究[D];昆明理工大学;2018年

4 余坤;基于多重分形的零件分类及缺陷识别[D];湖北工业大学;2018年

5 施莹莹;我国A+H交叉上市股票多重分形交叉相关性分析[D];南京信息工程大学;2018年

6 何姗姗;基于多重分形理论的中国股票市场波动分析与预测[D];南京理工大学;2018年

7 姚睿;基于多重分形方法的人民币兑美元汇率与上证综指相关性研究[D];湖南大学;2018年

8 孙梦野;基于重分形的黄金白银市场风险分析及其交叉相关性研究[D];武汉理工大学;2017年

9 王童瞳;中国证券市场交互相关性的多重分形分析[D];南京财经大学;2018年

10 项朝辉;基于非对称多重分形的空气污染与PM2.5影响关系的研究[D];浙江工商大学;2018年

本文编号：2714663