基于海洋环境的数据挖掘算法研究

发布时间：2020-04-07 22:40

【摘要】：数据挖掘是一种面向应用的技术,在营销策划、信用评价和安全分析等领域应用十分广泛。随着数字海洋概念的提出,数据挖掘算法被应用到海洋环境监测中,并成为近几年研究热点。针对海洋环境各指标间存在关系模糊、影响因素不确定及随机性的问题,本文采用模糊C均值聚类算法(FCM)对海洋环境各指标数据进行挖掘,并利用Hadoop平台对该算法进行并行化设计与实现。本文的主要研究内容为:首先,对海洋的监测数值,如:海水的PH值、温度、盐度和溶解氧浓度进行预处理,并对预处理之后的数据用FCM算法聚类。通过对某海域某年上半年的海域数据分析以及对三个海域样本数据的挑拣聚类,结果表明海域数据在时间上和空间上具有积聚特性,并且FCM算法聚类的准确度(89%)比用k-means算法的聚类准确度高。并且通过FCM算法对海洋环境的PH值进行聚类,以区别污染和未被污染的样本,在一定程度上为海水污染预警提供了新的方法。然后,利用MapReduce计算框架对FCM算法进行并行化设计,包括Map、Combine、Reduce和迭代过程。Map过程完成海洋环境样本数据与聚类中心的隶属度的并行化计算;Combine过程对Map的输出进行合并,减轻Reduce过程的负担;Reduce是一个并行化的实现对聚类中心的更新的过程;最后通过判断每次迭代过程的聚类中心的距离差值完成迭代过程的设计。最后,基于Hadoop平台进行FCM算法在海洋环境中的实现与验证。本文选取不同规模的海洋数据样本对以下两种情况进行对比分析:比较在单机环境下串行化的FCM算法与并行化的FCM算法的执行效率;对比并行化的FCM算法在不同节点下的集群加速比和效率。测试结果说明并行化的FCM算法在处理大规模的海洋环境数据方面具有较优越的加速比和扩展性能。
【学位授予单位】：青岛科技大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP311.13;X55

【参考文献】