大数据环境下动车组故障关联关系分析关键技术研究与实现

发布时间：2017-12-03 02:11

  本文关键词：大数据环境下动车组故障关联关系分析关键技术研究与实现

  更多相关文章： 动车组 大数据 数据挖掘 关联规则 Eclat算法 Hadoop

【摘要】：随着动车组的高速发展和大规模的使用,动车组已经成为了铁路客运和货运的重要工具,具有高效、安全、快速、高标准的服务功能,在交通中起到的重要作用也易于凸显。我国高速铁路经过十多年的运营,积累了大量的故障数据,且每天都在收到新的数据,如何从中挖掘出有效的信息和知识,为动车组运行安全、故障诊断和维修等工作提供决策支持,具有重大意义。近年来,高速动车组技术飞速发展,数据累积呈现出指数级的增长趋势,传统的关联规则挖掘算法很难满足需求。基于此,本文将关联规则挖掘算法Eclat算法与目前流行的云计算平台MapReduce结合,把海量的动车组故障数据关联规则挖掘任务分解到集群中的多台计算机上并行处理,提高了关联规则挖掘的效率。通常数据库有水平数据表示和垂直数据表示两种形式,常见的关联规则算法Apriori算法和FP-Growth算法都是基于水平数据表示的。Eclat算法是首个采用垂直数据表示的关联挖掘算法。Eclat算法在项集规模庞大时,交集操作消耗大量时间和系统内存。本文首先对Eclat算法进行了深入的研究和分析,针对Eclat算法在挖掘海量数据中的频繁项目集时存在的内存和计算资源不足等问题,提出基于MapReduce的改进算法,并应用于动车组故障关联规则挖掘,相对于传统挖掘算法,效率有显著提升。本论文最后还针对动车组故障等级划分,故障数据重要性不一致提出了加权的关联规则挖掘算法,剔除挖掘结果中没有意义的关联规则,优先挖掘出包含高等级故障的规则,符合现实要求,对动车组故障检测和预防,故障的快速定位提供帮助。
【学位授予单位】：北京交通大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：U269;TP311.13

【相似文献】

中国期刊全文数据库 前8条

1 廖飞;黄晟;龚德俊;安乐;;基于Hadoop的城市道路交通流量数据分布式存储与挖掘分析研究[J];公路与汽运;2013年05期

2 田秀霞;周耀君;毕忠勤;彭源;;基于Hadoop架构的分布式计算和存储技术及其应用[J];上海电力学院学报;2011年01期

3 王俊生;施运梅;张仰森;;基于Hadoop的分布式搜索引擎关键技术[J];北京信息科技大学学报(自然科学版);2011年04期

4 颜昌盛;高明星;赵s，

本文编号：1247064