基于Hadoop的CTK聚类算法在无线电监测频谱数据分析中的应用

发布时间：2025-01-14 16:26

　　 无线电监测产生了海量的频谱监测数据,但缺乏智能化、自动化的数据处理分析手段。聚类算法是重要的大数据挖掘算法,本文设计实现了基于Hadoop的CTK聚类算法,使其适用于分布式、海量的无线电监测数据的分析和计算。通过实验将其应用于无线电监测频谱数据分析后,可在广播频段发现"黑广播",为无线电监测大数据处理的自动化和智能化提供思路。

【文章页数】：4 页

【部分图文】：

图1 MapReduce工作原理图

MapReduce是一种核心思想，来源于Google论文《MapReducesimplifieddataprocessingonlargeclusters》的编程模型，基本思想是把一个复杂的问题分解成处理子集的子问题，对子问题分别进行处理（Map），然后把子问题处理后....

图2 CTK算法整体流程图

基于Canopy的二次聚类算法简称CTK算法，是在分析传统各类聚类算法优缺点的基础上，取长补短，提出的一种改进的基于层次的聚类算法。CTK算法流程图如图2所示。CTK算法的基本流程主要包括两个阶段：第一个阶段主要是对整个数据集合进行Canopy聚类产生若干Canopy中心，将其作....

图3 CTK算法的MapReduce框架图

CTK算法在Hadoop上的并行化实现分为两个阶段和四个MapReduce过程，其具体实现结构框架如图3所示。算法中的第一个阶段选择初始聚类中心采用一个MapReduce过程来实现。第二个阶段的聚类使用三个MapReduce过程来实现。第一个过程即MapReduce1，目的是计算....

本文编号：4026878