基于Hadoop技术的轨道交通MSS系统数据存储应用研究

发布时间：2017-07-01 23:09

  本文关键词：基于Hadoop技术的轨道交通MSS系统数据存储应用研究，由笔耕文化传播整理发布。

【摘要】：随着城市轨道交通事业飞速发展,轨道交通安全倍受关注,这必然会对维护管理提出更高的要求。维护支持系统应运而生,成为研究和应用的热点。在维护管理的过程中,实时监测的信号系统数据量与日俱增,远远超出传统的数据库存储范畴,常规的数据存储和数据处理方法遇到了瓶颈。云计算Hadoop作为一种新兴计算模型,具有超大规模,高可扩展和高可靠性等特点,为上述问题的解决提供了新的思路。 本文首先在绪论中阐述了轨道交通MSS维护支持系统的重要性,以及其与大数据结合会带来很多增值服务。其次对MSS维护支持系统、数据存储技术和Hadoop的研究现状进行了详细的归纳、总结。通过介绍MSS系统,分析该系统数据特点、结构,并且对比分析传统软件与Hadoop技术优缺点,进一步明确了维护支持系统在数据存储和查询方面遇到的困扰,从而确定将Hadoop技术应用到MSS系统中用于可靠存储、高效查询和数据挖掘分析。 针对MSS系统不同的数据类型,结合Hadoop集群技术以及实际软硬件实力,本文提出一种基于Hadoop技术的MSS数据存储设计。文章先后从存储整体架构,HDFS文件存储系统,HBase分布式数据库等几个方面对MSS结构化数据存储进行深入研究。首先利用日志收集系统Flume对数据进行传输,总结了MSS数据在HDFS中的存储方式。其次,设计基于HDFS的维护数据存储模块,举例说明数据在HDFS中是如何读取和写入的,最后实现了数据存入HDFS系统中。根据MSS数据特点,本文又设计了MSS数据基元的HBase的存储模型,以具体ZC数据为例,建立HBase数据逻辑模型和物理模型,并且实现了数据写入HBase数据库中。 在理论基础上,模拟搭建完全分布模式的Hadoop平台环境,包括硬件环境和软件环境。对系统性能进行分析以及测试Hadoop集群存储性能,说明Hadoop技术应用到轨道交通MSS系统中是可行的,在数据存储方面比传统方式占优势,并且数据量越大,Hadoop优势越能体现出来。 最后,对论文工作进行总结,阐述了该论文的创新点以及文中的不足和需改进的地方,并讨论了下一步工作的研究方向。
【关键词】：MSS系统 数据存储 Hadoop HDFS HBase存储模型
【学位授予单位】：北京交通大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP311.13;U298
【目录】：

• 致谢5-6
• 中文摘要6-7
• ABSTRACT7-9
• 目录9-11
• 1 绪论11-19
• 1.1 选题背景11-12
• 1.2 研究意义12-14
• 1.3 国内外研究现状14-16
• 1.3.1 MSS维护支持系统的研究现状14-15
• 1.3.2 数据存储技术与Hadoop的研究现状15-16
• 1.4 研究对象介绍16-17
• 1.5 论文的主要研究内容17-18
• 1.6 论文的组织结构18-19
• 2 MSS数据分析及Hadoop相关技术19-33
• 2.1 MSS系统数据分析19-26
• 2.1.1 MSS数据来源19-20
• 2.1.2 MSS数据特点20-21
• 2.1.3 MSS数据类型21-26
• 2.2 传统数据库存储与Hadoop云存储26-28
• 2.2.1 传统数据库技术与Hadoop比较26-28
• 2.2.2 Hadoop技术优势28
• 2.3 Hadoop关键技术介绍28-32
• 2.3.1 分布式文件系统HDFS29-31
• 2.3.2 HBase分布式数据库31-32
• 2.4 本章小结32-33
• 3 基于Hadoop的MSS系统数据存储设计与实现33-55
• 3.1 MSS系统整体架构设计33-36
• 3.1.1 Hadoop云存储结构模型33-34
• 3.1.2 MSS系统云存储模型设计34-35
• 3.1.3 MSS系统数据存储方案35-36
• 3.2 基于HDFS的MSS系统数据存储36-45
• 3.2.1 MSS系统数据传输36-38
• 3.2.2 MSS数据存储方式38-39
• 3.2.3 MSS动态维护数据存储模块设计39-41
• 3.2.4 MSS数据读写流程41-43
• 3.2.5 HDFS数据写入具体实现43-44
• 3.2.6 HDFS的可靠性存储策略44-45
• 3.3 基于HBase的MSS系统数据存储45-53
• 3.3.1 基元知识和基元的HBase数据库存储模型46-48
• 3.3.2 MSS数据的HBase数据模型设计48-51
• 3.3.3 HBase数据存储具体实现51-53
• 3.4 本章小结53-55
• 4 MSS系统数据存储环境搭建和性能测试55-64
• 4.1 数据存储平台实验环境55-59
• 4.1.1 模拟硬件环境55-57
• 4.1.2 模拟软件系统环境57-59
• 4.2 系统性能分析59-60
• 4.3 Hadoop集群存储性能测试60-63
• 4.3.1 文件规模变化测试60-62
• 4.3.2 处理文件大小变化测试62-63
• 4.3.3 实验结论63
• 4.4 本章小结63-64
• 5 总结与展望64-66
• 5.1 本文主要工作总结64
• 5.2 本文创新点64-65
• 5.3 展望65-66
• 参考文献66-69
• 图索引69-71
• 表索引71-72
• 作者简历及攻读硕士学位期间取得的研究成果72-74
• 学位论文数据集7

【参考文献】

中国期刊全文数据库 前10条

1 刘真;刘峰;张宝鹏;马飞;高石玉;;云计算模型在铁路大规模数据处理中的应用[J];北京交通大学学报;2010年05期

2 拓守恒;;云计算与云数据存储技术研究[J];电脑开发与应用;2010年09期

3 李桥兴;;多元多维基元及高阶多元多维可拓集合构造[J];广东工业大学学报;2009年04期

4 周庭梁;张兵建;;地铁的信号维护支持系统[J];城市轨道交通研究;2010年08期

5 于恒友;刘波;彭子平;;基于HBase的输电线路综合数据存储方案设计[J];电力科学与技术学报;2014年02期

6 李桥兴;强保华;杨春燕;;大数据基元的HBase数据库存储模型与实现[J];广东工业大学学报;2014年03期

7 任仁;;Hadoop在大数据处理中的应用优势分析[J];电子技术与软件工程;2014年15期

8 余侃;;云计算时代的数据中心建设与发展[J];信息通信;2011年06期

9 崔杰;李陶深;兰红星;;基于Hadoop的海量数据存储平台设计与开发[J];计算机研究与发展;2012年S1期

10 杨锋;吴华瑞;朱华吉;张海辉;孙想;;基于Hadoop的海量农业数据资源管理平台[J];计算机工程;2011年12期

中国博士学位论文全文数据库 前1条

1 叶玮琼;基于可拓学的仿人控制及应用研究[D];广东工业大学;2011年

  本文关键词：基于Hadoop技术的轨道交通MSS系统数据存储应用研究，，由笔耕文化传播整理发布。

本文编号：507795