基于云计算的故障装备大数据技术研究

发布时间：2021-01-25 10:39

　　随着社会科技的快速发展,智能化装备也日新月异,对于装备运行状况的分析伴随着传感器节点多,采样频率高和分析周期长的特点,对应着装备生成的数据量也不断增多,甚至能达到TB级别。对于如此大规模的数据分析,传统的分析技术已经不能满足要求,需要采取相关大数据分析技术。因为大数据往往隐藏着某些知识规则和关联关系,在数据量有限的情况下无法有效进行判断和识别,通过大数据分析技术,可以进一步挖掘和判断[1.2]。云计算能够提供大量低成本的计算和存储资源,并且具有易部署,扩展性强的特点,能够满足大数据分析的软件和硬件需要。因此将云计算和大数据技术进行有效融合,发挥各自的优势,在装备故障的大数据分析上具有重要的实践意义[3]。本文围绕装备故障分析存在的问题,以大数据分析作为切入点,对大数据处理技术进行深入研究。以国内某风场的风力发电机装备故障分析为例,设计并实现了用于装备故障分析的大数据平台,为开发人员提供数据和技术支持。研究内容包括基于系统设计的分层思想,研究并设计出计算平台的整体架构,架构分成数据源、数据接入层、数据存储层、资源管理层、业务层和应用层;探究Hadoop-Spark集群及其相关组件部署的最... 

【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校

【文章页数】：65 页

【学位级别】：硕士

【部分图文】：

图２－１?ＨＤＦＳ架构??

ＭａｐＲｅｄｕｃｅ计算模型通过Ｍａｐ和Ｒｅｄｕｃｅ两个步骤来拆解大规模的数据??集，并行处理大批量的任务，同时提供了相应接口让用户和具体的开发人员进??行调用。ＭａｐＲｅｄｕｃｅ的工作机制流程如图２－２所示。??７??

进行读写的磁盘，进而降低运行效率的问题。??ＭａｐＲｅｄｕｃｅ计算框架的工作原理在２．２．２节提到过，这里主要讲下它在工作??时产生的弊端。具体流程如图２－４所示。当有计算任务开始时，ＨＤＦＳ首先读??取存储在底盘的文件，然后进行迭代计算，计算完后将得到的中间结果存储在??ＨＤＦＳ上，也就是硬盘上，但下一个任务还会从硬盘读取上一个计算过程得到??的结果，通过计算将最终结果保存在硬盘上。可以看出，在实际的计算过程??中，囊括了硬盘数据的多次读写，复制，序列化，而硬盘的Ｉ／Ｏ时间占比很??大，硬盘的Ｉ／Ｏ速度将会成为计算任务限制的瓶颈。??第一次迭代?第二次迭代??读取ＨＩＴＳ数Ａ将中间结果读取ＨｌｆｆＳ数将中间结果??据?，入ＭＦＳ?据?Ｒ１?＼、写入ＷＦＳ??图?２－４?ＭａｐＲｅｄｕｃｅ?过程??Ｓｐａｒｋ计算框架通过引入ＲＤＤ解决了硬盘Ｉ／Ｏ速率限制问题，因为ＲＤＤ完??全是在内存进行计算

【参考文献】：
期刊论文
[1]基于大数据的液压支架电液控制系统故障诊断[J]. 张雪梅.  工矿自动化. 2018(12)
[2]基于大数据的电力二次设备故障诊断研究[J]. 陆晓,吴奕,崔玉,杜云龙.  电工技术. 2018(21)
[3]一种基于Yarn云计算平台与NMF的大数据聚类算法[J]. 冯新扬,沈建京.  信息网络安全. 2018(08)
[4]云计算和大数据技术发展现状与趋势[J]. 傅耀威,杨国威,徐泓,孟宪佳,宋阳.  中国基础科学. 2018(03)
[5]工业大数据技术综述[J]. 王建民.  大数据. 2017(06)
[6]基于大数据挖掘技术的输变电设备故障诊断方法[J]. 胡军,尹立群,李振,郭丽娟,段炼,张玉波.  高电压技术. 2017(11)
[7]Spark环境下并行立方体计算方法[J]. 萨初日拉,周国亮,时磊,王刘旺,石鑫,朱永利.  计算机应用. 2016(02)
[8]轨道电路故障诊断大数据处理技术综述[J]. 程建云,魏文军.  电子科技. 2015(11)
[9]面向大数据分析的在线学习算法综述[J]. 李志杰,李元香,王峰,何国良,匡立.  计算机研究与发展. 2015(08)
[10]Hadoop YARN大数据计算框架及其资源调度机制研究[J]. 董春涛,李文婷,沈晴霓,吴中海.  信息通信技术. 2015(01)

硕士论文
[1]基于大数据分析的风电机组运行状态评估及故障诊断[D]. 段震清.山西大学 2018
[2]基于YARN高并发性的机会资源调度器的研究与实现[D]. 彭阳.哈尔滨工业大学 2017
[3]基于Spark的数据管理平台的设计与实现[D]. 刘鹏.浙江大学 2016
[4]基于大数据的数据挖掘引擎[D]. 樊嘉麒.北京邮电大学 2015



本文编号：2999086