基于Hadoop的动车段综合管理信息系统建设的研究
发布时间：2021-10-22 10:52
近年来,我国高速铁路快速发展,高速铁路运营里程不断增长。从2007年第一组和谐号动车组下线至今,全路动车组保有量从2007年的105标准列增加到2017年的2742标准列,年均复合增长超过40%。截至2018年12月31日,全路动车保有量为3303.25标准列[1]。伴随保有量的快速增长以及行车里程的累积,对如何保证动车组安全运行、加强动车组运用检修管理提出了更高的要求。目前,国铁集团根据铁路建设网的需要,结合全路动车组运用实际,分别在北京、上海等地设置了7个具有先进工艺流程和工装设备、现代化的管理信息系统的动车检修基地,并在全国范围内建立了几十个动车运用所,来完成动车组的检修运用工作。在国内,动车组运行10年来,随着运维及检修经验的不断丰富,我国已积累了海量的动车组数据,这些数据就像一座尚待开发的储量丰富的金山,一旦被有效的开发利用,将会对我国动车组运维、客户分析等方面产生极大效益。当前,在国铁集团的统筹安排下,针对动车组运行管理的信息化工作及所产生的的海量数据的分析工作己经逐步展开,2017年,当时的中国铁路总公司先后印发《中国铁路总公司关于印发铁路大数据应用...
【文章来源】：中国铁道科学研究院北京市
【文章页数】：59 页
【学位级别】：硕士
【部分图文】：
法国沙地翁动车段总平面布置示意图
基于Hadoop的动车段综合管理信息系统建设的研究中国铁道科学研究院13图2-2基于Hadoop的大数据平台??Figure2-2bigdataplatformbasedonHadoop2.3.1分布式文件系统HDFS??近10余年，伴随着动车组检修运用量的大幅增加动车组运行及检修产生的海量数据已达PB级，如此丰富的动车组运维和检修数据，是我国动车组发展的宝贵财富。如何用好这些数据，让“财富”真正发挥自己的效用，考验着我们的智慧和决心。而通过大数据的挖局和人工智能分析，则可以有效的进行运维数据的管理和分析，从而发挥出数据发掘的突出优势。在挖掘数据之前，我们首先要解决的是这海量数据的存储问题，而根据以上分析，HDFS?大数据分布式文件系统正好可以成为解决海量大规模数据存储的问题[22]。加之其其高可靠性、高扩展性、高效性、高容错性和低成本的优势，方便它部署在普通硬件上，为我们现有数据的扩展提供了支撑。当然，据以往经验，相较于好的硬件，普通硬件发生故障的概率要更高一些,基于此，我们还必须备份多个副本,并将这些副本分别存储在集群中的不同机器上，防止因为一台机器出现故障就导致整个系统趴窝。2.3.2并行计算框架MapReduce如前文所述，作为Hadoop中的核心模块，MapReduce的并行计算架构让它可以较高的效率进行海量数据的并行计算,其运行流程如下图所示。
基于Hadoop的动车段综合管理信息系统建设的研究中国铁道科学研究院14图2-3?MapReduce运行原理??Figure2-3MapReduceoperatingprinciple??图2-3展示了MapReduce运行原理。通过分区、排序等方式，MapReduce可以将大规模的数据集分成多个小规模的Map任务,再把这些任务分散到各个节点，而且，这些节点是并列式的关系，可以实现所有Map任务能够快速完成。完成后,再通过Reduce整合为最终结果,存储在HDFS1[23]。综上，用MapReduce进行数据分析处理的前提是该数据集必须是可以根据某一特定条件分为很多小的数据集,并且这些小数据集各自独立，同时可以并行处理[24]。?2.3.3数据仓库Hive??Hive是基于Hadoop构建的一套数据仓库分析系统，是一种底层封装了Hadoop的数据仓库处理工具。使用hiveQL语言实现数据查询，并且，由于他使用的是类SQL语言，所以，可以为用户提供丰富的SQL查询方式来分析挖掘存储在Hadoop中的数据；可以提供完整的SQL查询功能，并且将结构化的数据映射为数据库表；还可以将SQL语句转换为MapReduce任务运行，使不熟悉MapReduce的用户可以很方便地利用SQL语言查询和分析数据。而MapReduce开发人员可以把自己写的mapper和reducer作为插件来支持hive做更复杂的数据分析。它支持DDL、DML等绝大多数语句以及常见的聚合函数、条件查询等。它还提供了一系列的方案进行数据提取转化加载，用来存储、查询和分析存储在Hadoop中的大规模数据集，并支持UDF（User-DefinedFunction）、UDAF(User-DefnesAggregateFunction)和USTF（User-DefinedTable-GeneratingFunction），也可以实现对map和reduce函数的定制，为数据操作提供了良好的伸缩性和可扩展性[25]。Hive在加载数据过程中，只是单纯的将数据移动到HDFS中hive目录下，?
【参考文献】：
期刊论文
[1]大数据驱动的装备健康管理研究[J]. 鞠建波,胡胜林,单志超,祝超. 兵器装备工程学报. 2017(06)
[2]欧洲两大MRO企业的大数据技术应用实践[J]. James Pozzi,Lee Ann Shay,蓝楠. 航空维修与工程. 2016(12)
[3]建设智慧企业,实现自动管理[J]. 涂扬举,郑小华. 清华管理评论. 2016(10)
[4]动车段动车组管理信息系统架构设计与关键技术分析[J]. 李佳特. 科技资讯. 2016(09)
[5]基于XML和SVG的体育数据可视化的技术研究[J]. 朱中炜,韩旭,李泽琳. 电子技术与软件工程. 2015(21)
[6]动车组运行安全联网监控系统总体架构设计[J]. 李莉,史天运,贾志凯. 铁路计算机应用. 2015(05)
[7]故障预测与健康管理系统相关标准综述[J]. 景博,汤巍,黄以锋,杨洲. 电子测量与仪器学报. 2014(12)
[8]基于类区间的多维数据可视化方法[J]. 陈谊,李潇潇,蔡进峰,陈红倩,蔡强. 系统仿真学报. 2013(10)
[9]复杂装备故障预测与健康管理系统初探[J]. 马飒飒,陈国顺,方兴桥. 计算机测量与控制. 2010(01)
[10]故障预测与健康管理技术综述[J]. 彭宇,刘大同,彭喜元. 电子测量与仪器学报. 2010(01)
硕士论文
[1]校园学习平台的设计与实现[D]. 王南南.山东大学 2018
[2]社会网络关键节点可视化分析系统的设计与实现[D]. 刘庆.电子科技大学 2016
本文编号：3450950
【文章来源】：中国铁道科学研究院北京市
【文章页数】：59 页
【学位级别】：硕士
【部分图文】：
法国沙地翁动车段总平面布置示意图
基于Hadoop的动车段综合管理信息系统建设的研究中国铁道科学研究院13图2-2基于Hadoop的大数据平台??Figure2-2bigdataplatformbasedonHadoop2.3.1分布式文件系统HDFS??近10余年，伴随着动车组检修运用量的大幅增加动车组运行及检修产生的海量数据已达PB级，如此丰富的动车组运维和检修数据，是我国动车组发展的宝贵财富。如何用好这些数据，让“财富”真正发挥自己的效用，考验着我们的智慧和决心。而通过大数据的挖局和人工智能分析，则可以有效的进行运维数据的管理和分析，从而发挥出数据发掘的突出优势。在挖掘数据之前，我们首先要解决的是这海量数据的存储问题，而根据以上分析，HDFS?大数据分布式文件系统正好可以成为解决海量大规模数据存储的问题[22]。加之其其高可靠性、高扩展性、高效性、高容错性和低成本的优势，方便它部署在普通硬件上，为我们现有数据的扩展提供了支撑。当然，据以往经验，相较于好的硬件，普通硬件发生故障的概率要更高一些,基于此，我们还必须备份多个副本,并将这些副本分别存储在集群中的不同机器上，防止因为一台机器出现故障就导致整个系统趴窝。2.3.2并行计算框架MapReduce如前文所述，作为Hadoop中的核心模块，MapReduce的并行计算架构让它可以较高的效率进行海量数据的并行计算,其运行流程如下图所示。
基于Hadoop的动车段综合管理信息系统建设的研究中国铁道科学研究院14图2-3?MapReduce运行原理??Figure2-3MapReduceoperatingprinciple??图2-3展示了MapReduce运行原理。通过分区、排序等方式，MapReduce可以将大规模的数据集分成多个小规模的Map任务,再把这些任务分散到各个节点，而且，这些节点是并列式的关系，可以实现所有Map任务能够快速完成。完成后,再通过Reduce整合为最终结果,存储在HDFS1[23]。综上，用MapReduce进行数据分析处理的前提是该数据集必须是可以根据某一特定条件分为很多小的数据集,并且这些小数据集各自独立，同时可以并行处理[24]。?2.3.3数据仓库Hive??Hive是基于Hadoop构建的一套数据仓库分析系统，是一种底层封装了Hadoop的数据仓库处理工具。使用hiveQL语言实现数据查询，并且，由于他使用的是类SQL语言，所以，可以为用户提供丰富的SQL查询方式来分析挖掘存储在Hadoop中的数据；可以提供完整的SQL查询功能，并且将结构化的数据映射为数据库表；还可以将SQL语句转换为MapReduce任务运行，使不熟悉MapReduce的用户可以很方便地利用SQL语言查询和分析数据。而MapReduce开发人员可以把自己写的mapper和reducer作为插件来支持hive做更复杂的数据分析。它支持DDL、DML等绝大多数语句以及常见的聚合函数、条件查询等。它还提供了一系列的方案进行数据提取转化加载，用来存储、查询和分析存储在Hadoop中的大规模数据集，并支持UDF（User-DefinedFunction）、UDAF(User-DefnesAggregateFunction)和USTF（User-DefinedTable-GeneratingFunction），也可以实现对map和reduce函数的定制，为数据操作提供了良好的伸缩性和可扩展性[25]。Hive在加载数据过程中，只是单纯的将数据移动到HDFS中hive目录下，?
【参考文献】：
期刊论文
[1]大数据驱动的装备健康管理研究[J]. 鞠建波,胡胜林,单志超,祝超. 兵器装备工程学报. 2017(06)
[2]欧洲两大MRO企业的大数据技术应用实践[J]. James Pozzi,Lee Ann Shay,蓝楠. 航空维修与工程. 2016(12)
[3]建设智慧企业,实现自动管理[J]. 涂扬举,郑小华. 清华管理评论. 2016(10)
[4]动车段动车组管理信息系统架构设计与关键技术分析[J]. 李佳特. 科技资讯. 2016(09)
[5]基于XML和SVG的体育数据可视化的技术研究[J]. 朱中炜,韩旭,李泽琳. 电子技术与软件工程. 2015(21)
[6]动车组运行安全联网监控系统总体架构设计[J]. 李莉,史天运,贾志凯. 铁路计算机应用. 2015(05)
[7]故障预测与健康管理系统相关标准综述[J]. 景博,汤巍,黄以锋,杨洲. 电子测量与仪器学报. 2014(12)
[8]基于类区间的多维数据可视化方法[J]. 陈谊,李潇潇,蔡进峰,陈红倩,蔡强. 系统仿真学报. 2013(10)
[9]复杂装备故障预测与健康管理系统初探[J]. 马飒飒,陈国顺,方兴桥. 计算机测量与控制. 2010(01)
[10]故障预测与健康管理技术综述[J]. 彭宇,刘大同,彭喜元. 电子测量与仪器学报. 2010(01)
硕士论文
[1]校园学习平台的设计与实现[D]. 王南南.山东大学 2018
[2]社会网络关键节点可视化分析系统的设计与实现[D]. 刘庆.电子科技大学 2016
本文编号：3450950
本文链接：https://www.wllwen.com/shoufeilunwen/boshibiyelunwen/3450950.html
