基于频繁模式挖掘的分布式集群监控系统设计与实现

发布时间：2023-04-05 17:54

　　频繁模式挖掘作为数据挖掘的基础任务一直是数据挖掘领域中的研究热点。近年来,随着智能终端、互联网及无线传感器网络的快速发展,社会生活的各个领域出现了数据的爆炸式增长,这其中既包含传统静态数据的海量积累,同时也存在大规模动态数据流的产生。这无疑对频繁模式挖掘算法提出了更高的要求与挑战。本文聚焦于频繁模式挖掘算法,针对两种不同的数据背景,对现存的经典频繁模式挖掘算法实现了改进与优化,提升了频繁模式挖掘算法性能。并以企业智能化运维监控工作需求为出发点,融合大数据处理框架与频繁模式挖掘算法,实现了一套分布式集群监控系统。本文的主要研究内容如下:1.研究基于静态数据的频繁模式挖掘算法。针对经典频繁模式挖掘算法FPGrowth在模式增长过程中存在的缺陷,本文了提出一种链表模式树结构LP-Tree(Linked-list Pattern Tree),并以其为载体提出了一种基于静态数据的频繁模式挖掘算法LPTFPM(Linked-list Pattern Tree Frequent Pattern Mining),算法有效地提升了频繁模式挖掘效率。在此基础上,结合Spark分布式计算框架,设计了并行化频...

【文章页数】：101 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第一章 绪论
    1.1 研究背景及意义
    1.2 国内外研究现状
        1.2.1 基于静态数据的频繁模式挖掘算法
        1.2.2 基于数据流的频繁模式挖掘算法
        1.2.3 频繁模式挖掘在系统运维监控中的应用
    1.3 研究内容
    1.4 结构安排
第二章 相关技术和基础理论
    2.1 频繁模式挖掘理论基础
    2.2 数据流处理模型
        2.2.1 数据流定义
        2.2.2 基于数据流挖掘所面临的挑战
        2.2.3 数据流挖掘中的常用技术
    2.3 分布式计算平台
        2.3.1 Hadoop
        2.3.2 Spark
    2.4 本章小结
第三章 不同数据背景下的频繁模式挖掘算法研究与实现
    3.1 基于静态数据的频繁模式挖掘算法研究与实现
        3.1.1 FP-Growth算法性能分析
        3.1.2 链表模式树的结构设计
        3.1.3 基于链表模式树的频繁模式挖掘算法LPTFPM的设计
        3.1.4 基于Spark的并行化频繁模式挖掘算法PLPTFPM的设计
        3.1.5 PLPTFPM算法性能测试
    3.2 基于动态数据流的频繁模式挖掘算法研究与改进
        3.2.1 FP-Stream与 DSTree性能分析
        3.2.2 基于时间窗口技术的数据流处理模型WDP-Tree的设计
        3.2.3 基于Spark Streaming的并行化频繁模式挖掘算法WDPTMS
        3.2.4 算法性能测试
    3.3 本章小结
第四章 基于频繁模式挖掘的分布式集群监控系统设计与实现
    4.1 需求分析
    4.2 系统设计与实现
        4.2.1 总体设计
        4.2.2 开发环境
        4.2.3 功能模块设计与实现
    4.3 本章小结
第五章 系统测试与结果分析
    5.1 测试环境
    5.2 系统功能测试
        5.2.1 数据采集模块
        5.2.2 数据接收模块
        5.2.3 数据存储模块
        5.2.4 数据分析模块
        5.2.5 结果展示模块
    5.3 系统测试结论
    5.4 本章小结
第六章 总结与展望
    6.1 论文总结
    6.2 未来工作展望
致谢
参考文献



本文编号：3783858