高速铁路接触网在线监测系统实时数据库关键技术研究
发布时间：2020-12-21 00:50
在高铁接触网安全评估体系和科学维护体系的建设过程中,铁路行业中使用的传统实时数据库系统已经不能满足接触网状态在线监测中海量实时数据的处理需求。为解决存在的问题,本文对接触网在线监测系统的应用场景和需求进行了详细的分析,结合分布式系统和实时数据库的相关理论和技术,设计了适用于接触网在线监测的分布式实时数据库系统架构和服务模型。通过研究分布式缓存、分布式消息队列、分布式历史数据存储等机制提高了系统的扩展性、实时性和可靠性。具体研究结果如下:(1)分析现有铁路行业传统实时数据库的问题和接触网在线监测系统的实际需求设计了系统的架构和服务模型,提出基于Raft带负载评估的主从节点选举策略在负载不均衡情况下选举出可靠的节点。(2)针对分布式实时数据库系统的实时性特点,设计了本地高速缓存队列和分布式消息队列,提高系统的高并发、大数据场景下的处理能力和数据容灾能力。提出了基于Redis的分布式数据缓存系统满足了海量实时数据的即时查询需求。(3)针对海量历史数据存储和快速查询的需求,设计了基于OpenTSDB的海量历史数据存储服务。通过引入Elasticsearch搜索引擎解决OpenTSDB在多条件组...
【文章来源】：浙江科技学院浙江省
【文章页数】：93 页
【学位级别】：硕士
【部分图文】：
接触网在线监测系统架构
管工区上进行独立的实时数据存储与处理，各个数据服务器都是物理隔离的，不同层级的管理部门根据需求通过客户端向指定的服务器获取数据。各服务器的功能角色、客户端与服务器的路由关系均需要由人工手动定义和分配。这种系统具有容易实现，故障容易排查[27]等优点。客户端与服务器的连接需要通过公用网络，网络的抖动、延迟均容易造成数据同步失败；随着电气化铁路监测需求的增大，传统的实时数据库系统难以进行灵活扩展，大量的连接和配置需要人工操作很容易导致失误，在每个维管工区安装的服务器数据不方便进行服务器和计算资源统一调配的维护管理，容易形成不必要的冗余，造成服务器和运营维护资源的极大浪费。针对传统实时数据库系统存在的问题，本章分析了接触网在线监测的场景特点，根据铁路运营部门的实际需求，结合当前热门的大数据技术和物联网[28]相关技术，提出基于中心化的实时数据库系统架构和服务模型。
门应用的传统实时数据库系统缺点，结合本课题的应用特点和必须实现的核心功能，而且系统运行时还有以下特点：1） 保证数据访问的实时性，本质上分布式实时数据库系统是一个写密集的系统，写入耗时高于采样周期都是不可取的。2）历史存档数据的最终一致性，同一时刻不同节点的数据不保证相同，但经过多次同步之后，不同节点上的数据最终保持一致。3）实时缓存数据的强一致性，同一时刻不同节点的数据必须保持相同，因为不一致的实时数据对操作人员分析判断不具有任何意义。4）监控集群各节点状态。为保证系统有序运行，需要确保系统中各节点的状态可控。基于上述考虑，选用中心化的系统模型构建面向接触网在线监测的中心化分布式实时数据库系统，如下图 2-2 所示。
【参考文献】：
期刊论文
[1]Hadoop分布式存储架构的性能分析[J]. 王凌晖,解云月,周美华. 现代电子技术. 2018(18)
[2]高速铁路牵引供电系统大数据平台及应用[J]. 王维广. 电气化铁道. 2018(04)
[3]实时数据库技术探究[J]. 唐宇. 铁路通信信号工程技术. 2018(06)
[4]内存数据库实现原理探讨[J]. 黄伟梅. 电脑知识与技术. 2018(15)
[5]铁路现场巡检作业可视化智能管理系统的研究[J]. 金其炳,朱忠德. 上海铁道科技. 2018(01)
[6]浅析RAFT分布式算法[J]. 鲁子元. 信息技术. 2017(09)
[7]针对Redis主从复制[J]. 杨雪婵. 网络安全和信息化. 2017(03)
[8]我国高速铁路固定设备维护体制模式研究[J]. 程学庆,李月,舒继承,邢颖,王鑫. 铁道科学与工程学报. 2017(02)
[9]Hadoop MapReduce新旧架构的对比研究综述[J]. 于金良,朱志祥,李聪颖. 计算机与数字工程. 2017(01)
[10]中国高速铁路的可持续发展战略（英文）[J]. Ping TAN,Ji-en MA,Jing ZHOU,You-tong FANG. Journal of Zhejiang University-Science A（Applied Physics & Engineering）. 2016(12)
博士论文
[1]流程工业分布式实时数据库研究与应用[D]. 李德文.浙江大学 2016
硕士论文
[1]基于分布式Kafka队列和流计算集群的铁道供电监控实时处理研究[D]. 王群峰.华东交通大学 2018
[2]雾计算环境下的资源缓存机制研究[D]. 赵晟伟.山东大学 2018
[3]基于网络爬虫的排行榜系统设计与实现[D]. 刘全伟.北京邮电大学 2018
[4]大规模集群状态时序数据采集、存储与分析[D]. 刘金.北京邮电大学 2018
[5]面向关系数据库的数据起源研究与设计[D]. 林悦邦.华南理工大学 2017
[6]基于混合内存的缓存策略优化研究[D]. 谢宏天辰.杭州电子科技大学 2017
[7]面向SOA架构的缺陷管理系统的设计与实现[D]. 莫其凡.南京大学 2016
[8]基于Redis Cluster的分布式内存数据库研究与应用[D]. 王绍东.华南理工大学 2016
[9]一种基于OpenTSDB的海量实时数据存储系统[D]. 单若琦.华南理工大学 2016
[10]基于LSM树的NoSQL数据库索引研究[D]. 付佳.北京理工大学 2016
本文编号：2928875
【文章来源】：浙江科技学院浙江省
【文章页数】：93 页
【学位级别】：硕士
【部分图文】：
接触网在线监测系统架构
管工区上进行独立的实时数据存储与处理，各个数据服务器都是物理隔离的，不同层级的管理部门根据需求通过客户端向指定的服务器获取数据。各服务器的功能角色、客户端与服务器的路由关系均需要由人工手动定义和分配。这种系统具有容易实现，故障容易排查[27]等优点。客户端与服务器的连接需要通过公用网络，网络的抖动、延迟均容易造成数据同步失败；随着电气化铁路监测需求的增大，传统的实时数据库系统难以进行灵活扩展，大量的连接和配置需要人工操作很容易导致失误，在每个维管工区安装的服务器数据不方便进行服务器和计算资源统一调配的维护管理，容易形成不必要的冗余，造成服务器和运营维护资源的极大浪费。针对传统实时数据库系统存在的问题，本章分析了接触网在线监测的场景特点，根据铁路运营部门的实际需求，结合当前热门的大数据技术和物联网[28]相关技术，提出基于中心化的实时数据库系统架构和服务模型。
门应用的传统实时数据库系统缺点，结合本课题的应用特点和必须实现的核心功能，而且系统运行时还有以下特点：1） 保证数据访问的实时性，本质上分布式实时数据库系统是一个写密集的系统，写入耗时高于采样周期都是不可取的。2）历史存档数据的最终一致性，同一时刻不同节点的数据不保证相同，但经过多次同步之后，不同节点上的数据最终保持一致。3）实时缓存数据的强一致性，同一时刻不同节点的数据必须保持相同，因为不一致的实时数据对操作人员分析判断不具有任何意义。4）监控集群各节点状态。为保证系统有序运行，需要确保系统中各节点的状态可控。基于上述考虑，选用中心化的系统模型构建面向接触网在线监测的中心化分布式实时数据库系统，如下图 2-2 所示。
【参考文献】：
期刊论文
[1]Hadoop分布式存储架构的性能分析[J]. 王凌晖,解云月,周美华. 现代电子技术. 2018(18)
[2]高速铁路牵引供电系统大数据平台及应用[J]. 王维广. 电气化铁道. 2018(04)
[3]实时数据库技术探究[J]. 唐宇. 铁路通信信号工程技术. 2018(06)
[4]内存数据库实现原理探讨[J]. 黄伟梅. 电脑知识与技术. 2018(15)
[5]铁路现场巡检作业可视化智能管理系统的研究[J]. 金其炳,朱忠德. 上海铁道科技. 2018(01)
[6]浅析RAFT分布式算法[J]. 鲁子元. 信息技术. 2017(09)
[7]针对Redis主从复制[J]. 杨雪婵. 网络安全和信息化. 2017(03)
[8]我国高速铁路固定设备维护体制模式研究[J]. 程学庆,李月,舒继承,邢颖,王鑫. 铁道科学与工程学报. 2017(02)
[9]Hadoop MapReduce新旧架构的对比研究综述[J]. 于金良,朱志祥,李聪颖. 计算机与数字工程. 2017(01)
[10]中国高速铁路的可持续发展战略（英文）[J]. Ping TAN,Ji-en MA,Jing ZHOU,You-tong FANG. Journal of Zhejiang University-Science A（Applied Physics & Engineering）. 2016(12)
博士论文
[1]流程工业分布式实时数据库研究与应用[D]. 李德文.浙江大学 2016
硕士论文
[1]基于分布式Kafka队列和流计算集群的铁道供电监控实时处理研究[D]. 王群峰.华东交通大学 2018
[2]雾计算环境下的资源缓存机制研究[D]. 赵晟伟.山东大学 2018
[3]基于网络爬虫的排行榜系统设计与实现[D]. 刘全伟.北京邮电大学 2018
[4]大规模集群状态时序数据采集、存储与分析[D]. 刘金.北京邮电大学 2018
[5]面向关系数据库的数据起源研究与设计[D]. 林悦邦.华南理工大学 2017
[6]基于混合内存的缓存策略优化研究[D]. 谢宏天辰.杭州电子科技大学 2017
[7]面向SOA架构的缺陷管理系统的设计与实现[D]. 莫其凡.南京大学 2016
[8]基于Redis Cluster的分布式内存数据库研究与应用[D]. 王绍东.华南理工大学 2016
[9]一种基于OpenTSDB的海量实时数据存储系统[D]. 单若琦.华南理工大学 2016
[10]基于LSM树的NoSQL数据库索引研究[D]. 付佳.北京理工大学 2016
本文编号：2928875
本文链接：https://www.wllwen.com/kejilunwen/jiaotonggongchenglunwen/2928875.html
