基于hadoop的电梯大数据安全性挖掘平台的研究

发布时间：2025-01-07 03:23

　　近年来,随着电梯使用量在全国范围内的迅速增长,而电梯维护和监管力度的不到位,导致电梯安全事故时有发生,严重影响到居民的人身安全,因此近几年电梯安全的问题引起了社会的广泛关注。电梯使用量的增多使得电梯监管系统数据库中的数据也急剧增多。因此如何从海量数据中挖掘分析出各场所各种品牌电梯日常运行情况,规划出针对性的电梯安全维保及检修措施,从而减少电梯事故的发生变得尤为重要。本课题的主要研究内容是基于hadoop的大数据平台对电梯远程监管系统后台的海量电梯数据进行挖掘分析,并以hadoop最小集群为基础设计了一个基于hadoop的数据挖掘分析平台,该平台主要由数据传导模块、数据预处理模块、数据挖掘模块和调度模块四个模块组成。本课题还对聚类分析算法K-Means和关联规则算法Apriori进行了改进并与hadoop的MapReduce计算框架实现了并行化;最后通过调度模块将所有的模块进行整合,实现了一个以hadoop最小集群为基础的数据挖掘分析平台。本课题以电梯远程监控系统数据库中的数据作为分析挖掘的数据源,在hadoop的MapReduce计算框架中并行化了改进的聚类关联算法,提升了数据挖掘分析平...

【文章页数】：61 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第一章 绪论
    1.1 本课题背景及意义
    1.2 国内外研究现状
        1.2.1 大数据研究现状
    1.3 论文的主要内容
    1.4 论文结构与安排
第二章 相关技术概述
    2.1 Hadoop技术
        2.1.1 HDFS
        2.1.2 Map/Reduce并行计算模型
        2.1.3 Hive与 Sqoop
    2.2 数据挖掘技术
        2.2.1 数据挖掘的定义
        2.2.2 数据挖掘的方法
    2.3 数据预处理
        2.3.1 数据清洗
        2.3.2 数据集成
        2.3.3 数据转换
        2.3.4 数据规约
    2.4 本章小结
第三章 基于hadoop的聚类关联算法的改进与并行化
    3.1 聚类分析概述
        3.1.1 聚类分析的概念
        3.1.2 聚类分析的要求
    3.2 K-Means算法分析与改进
        3.2.1 K-Means算法简介
        3.2.2 K-Means算法的改进
        3.2.3 MapReduce分布式计算框架与改进K-Means算法的并行化
    3.3 Apriori算法分析与改进
        3.3.1 Apriori算法的基本思想
        3.3.2 Apriori算法的MapReduce并行化的改进
    3.4 本章小结
第四章 基于hadoop的电梯数据安全性分析平台的总设计
    4.1 系统结构设计
    4.2 平台功能设计
    4.3 数据仓库结构设计
    4.4 软件及技术选择
    4.5 本章小结
第五章 基于hadoop的电梯运行数据挖掘平台的设计与实现
    5.1 底层环境搭建
        5.1.1 Hadoop集群部署
        5.1.2 jdk的安装
        5.1.3 设置集群的免密登陆
        5.1.4 Hadoop的安装
    5.2 数据相互传导模块的实现
        5.2.1 数据导入模块
        5.2.2 数据导出模块
    5.3 数据预处理模块的实现
        5.3.1 数据预处理分析
        5.3.2 数据预处理模块实现
    5.4 数据挖掘模块的实现
        5.4.1 K-Means聚类挖掘
        5.4.2 Apriori关联规则挖掘
    5.5 调度模块的实现
    5.6 本章小结
第六章 电梯数据挖掘结果分析
    6.1 聚类结果分析
    6.2 关联规则结果分析
    6.3 本章小结
第七章 总结与展望
    7.1 工作总结
    7.2 工作展望
参考文献
致谢
硕士期间研究成果



本文编号：4024422