人工鱼群和k-means相结合的聚类算法研究与分布式实现

发布时间：2017-12-21 11:30

  本文关键词：人工鱼群和k-means相结合的聚类算法研究与分布式实现　出处：《江苏大学》2016年硕士论文　论文类型：学位论文

  更多相关文章： 聚类分析 k-means算法 人工鱼群算法 大数据挖掘

【摘要】：k-means算法是一种典型的基于距离的聚类算法,简单、时间复杂度近似于线性使得其较适合大规模数据集的挖掘。k-means算法以误差平方和作为准则函数,每一次迭代均是朝着函数值减小的方向进行。因此也可以把k-means聚类归为优化问题。群体智能优化算法是一种新兴的演化计算技术,它利用群体优势、分布搜索,能够在不了解全局模型情况下快速获得优化问题最优解。基于仿生行为的人工鱼群算法即为一种有代表性的优化算法。该算法通过构造人工鱼来模仿鱼群的觅食、聚群及追尾行为从而实现寻优。收敛速度快、不需要严格的问题模型等是该算法的主要优点。针对人工鱼群算法中鱼群数目多计算量大,固定的最大步长在寻优后期影响收敛速度和寻优精度等问题,论文提出淘汰机制与自适应的最大步长策略。淘汰机制基于适应度函数,通过一定量的次数,淘汰适应度小的人工鱼,减少人工鱼个体数目,降低计算量;自适应的最大步长策略是指在寻优初期,获取大步长加快收敛速度,在寻优后期获取小步长提高寻优精度。论文将人工鱼群算法与k-means算法相结合,用于大规模的数据挖掘。目的是利用人工鱼群算法的全局最优性解决k-means算法对初始中心敏感,容易陷入局部最优问题。所做的主要工作包括:设计了包含聚类数目及聚类中心的编码,即用一条人工鱼代表选择的一种初始聚类中心,这样可以增大找到全局最优聚类中心的概率;把k-means聚类中心引入人工鱼适应度函数,使人工鱼在寻优过程中自动地确定近似全局最优的初始聚类中心。将近似全局最优的初始聚类中心作为k-means初值进行详细地局部搜索,提高精度。传统算法在面对大规模数据时的处理能力难以令人满意,如何高效地挖掘成为当前研究的热点。论文研究云计算环境下海量数据的并行聚类算法,重点是使用MapReduce并行计算框架处理人工鱼群和k-means相结合的算法,在保证聚类效果的前提下,提高算法的可扩展性和效率。
【学位授予单位】：江苏大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP18;TP311.13

【相似文献】

中国期刊全文数据库 前10条

1 曲良东;何登旭;;改进的人工鱼群算法及其在近似求导中的应用[J];微电子学与计算机;2009年05期

2 王联国;洪毅;赵付青;余冬梅;;一种简化的人工鱼群算法[J];小型微型计算机系统;2009年08期

3 王宗利;刘希玉;王文平;;一种改进的人工鱼群算法[J];信息技术与信息化;2010年03期

4 韦修喜;曾海文;周永权;;云人工鱼群算法[J];计算机工程与应用;2010年22期

5 曾蒙迪;;人工鱼群算法的简介及应用[J];信息与电脑(理论版);2011年04期

6 李媛;;基于人工鱼群算法的多元线性回归分析问题处理[J];渤海大学学报(自然科学版);2011年02期

7 陈晓峰;宋杰;;量子人工鱼群算法[J];东北大学学报(自然科学版);2012年12期

8 王波;;基于细胞膜优化的人工鱼群算法研究[J];科技通报;2013年03期

9 王培崇;;人工鱼群算法研究综述[J];中国民航飞行学院学报;2013年04期

10 李晓磊,薛云灿,路飞,田国会;基于人工鱼群算法的参数估计方法[J];山东大学学报(工学版);2004年03期

中国重要会议论文全文数据库 前3条

1 李晓磊;钱积新;;人工鱼群算法:自下而上的寻优模式[A];过程系统工程2001年会论文集[C];2001年

2 徐公林;张铁龙;;人工鱼群算法在电力系统负荷模型参数辨识中的应用[A];中国高等学校电力系统及其自动化专业第二十四届学术年会论文集（中册）[C];2008年

3 刘耀年;姚玉萍;李迎红;刘俊峰;;基于人工鱼群算法RBF神经网络[A];第十届全国电工数学学术年会论文集[C];2005年

中国博士学位论文全文数据库 前3条

1 王联国;人工鱼群算法及其应用研究[D];兰州理工大学;2009年

2 李晓磊;一种新型的智能优化方法-人工鱼群算法[D];浙江大学;2003年

3 张梅凤;人工鱼群智能优化算法的改进及应用研究[D];大连理工大学;2008年

中国硕士学位论文全文数据库 前10条

1 陈斐;改进的人工鱼群算法分析与研究[D];西安电子科技大学;2012年

2 王蕾;一种人工萤火虫群优化算法改进的研究[D];青岛理工大学;2015年

3 马尧;基于改进的人工鱼群算法在商旅问题中的应用研究[D];西南交通大学;2015年

4 薛亚娣;改进的人工鱼群算法及其应用研究[D];兰州大学;2015年

5 彭鹏;配电网无功优化和跟踪调节技术研究[D];沈阳理工大学;2015年

6 崔淑慧;三维管路自动敷设算法及干涉校验方法研究[D];哈尔滨工业大学;2015年

7 黄锋;混沌人工鱼群算法及其在水库(群)优化调度中的应用[D];华北电力大学;2015年

8 刘翔;基于改进人工鱼群算法的化工过程优化[D];北京化工大学;2015年

9 喻俊松;基于改进人工鱼群算法无人机航迹规划研究[D];南昌航空大学;2015年

10 陈新;基于人工鱼群算法的柔性作业车间调度研究[D];大连理工大学;2015年

，

本文编号：1315909