铁路LTE通信大数据分析系统的设计与实现

发布时间：2017-12-12 00:03

  本文关键词：铁路LTE通信大数据分析系统的设计与实现

  更多相关文章： 大数据 Cloudera CDH LTE Hadoop Impala

【摘要】：本文研究利用大数据技术对铁路LTE(长期演进)通信网络进行优化。朔黄铁路是中国"西煤东运"的第二大通道,对中国经济的发展有着重大的贡献。为了满足日益增长的铁路运输需求,公司决定通过增加容量以及安排更多的车次来提升铁路的运输能力。随着车次和列车容量的增长,如何保证铁路运输的正常运行成为了大势所趋。实践证明,采用LTE作为铁路通信系统,是一种有效的解决方案。但是由于在中国国内乃至全世界,LTE在铁路中的应用尚属首例,不可避免地会遇到很多问题。所以定期对铁路LTE网络进行路测检查,并根据检查结果进行网络优化,成为保障LTE通信网络正常运转的重要手段网优路测工作所产生的数据量十分巨大,现有的计算机系统难以满足如此大量数据的存储、分析和处理。所以大部分数据的处理仍然需要由人工来完成,不仅处理效率低下,结果的准确性也往往难以保证。随着大数据技术以及计算机硬件水平的不断提高,近几年来,大数据技术在各个行业的应用已经证明了,当前的大数据技术有能力对海量数据进行处理,为企业的生产和管理提供助力。本论文的主要工作是研究并实现了一个以大数据技术为理论基础,利用Cloudera大数据平台提供大数据相关的工具和服务;分析实际工作场景中亟待解决的主要问题,开发出一个高效、便捷具有较强可扩展能力的Web可视化系统。在功能设计方面,本系统主要能够对朔黄铁路LTE网络,网优路测过程中产生的数据进行高效地存储、处理和分析;能够对LTE网络中经常出现的几类通信故障(乒乓切换、弱覆盖、越区覆盖)进行筛查;对能够反映LTE网络信号状况的相关KPI(关键绩效指标)指数进行提取和展示;将通信故障情况以及相关KPI指数在地理信息系统上展示出来,使得用户能够将展示出的LTE网络状况与周边的地理信息联系起来,为故障的排查提供便利。具体来说,本文所进行的主要工作如下:在大多数分析系统中数据ETL是最为耗时的一个过程,几乎能够占到80%的时间。朔黄公司网优路测的原始数据大多以XLS文件的形式存储,但本文采用的数据实时交互技术采用的是在数据查询效率上具有明显优势的Cloudera Impala,为了使用Impala需要将XLS文件转化为CSV文件;在原始数据中还存在着大量的NULL值以及空字符串等无效数据,在将原始数据上传到HDFS之前,应当对这些数据进行清洗。数据ETL是数据分析及处理的前提,本文实现了这个过程。根据现场调研,本文选取了三种常见的通信故障——弱覆盖、越区覆盖、乒乓切换,三种衡量通信状况的关键指标——RSRP、RSRQ、SINR进行分析和展示。分析了这三种通信故障的成因,并对其进行数据建模,使得系统能够从原始数据中排查出这些故障;通过应用天地图API、Echart等第三方组件,一方面将通信故障以及相关关键指标与地理信息系统结合起来,另一方面能够将故障发生时的指标变化情况以直方图或者散点图的形式进行抽象化展示。通过以上工作,使本系统能够快速检测出数据中的通信故障,并且能够直观形象地显示铁路沿线的通信情况。分析了系统的架构和开发环境,具体描述了,后台大数据服务以及Web用户界面的设计目标,在此基础上对系统进行了实现。建立实验环境,对系统进行了部署,并通过实际数据进行验证,验证结果表明,本系统能够有效地筛选出故障数据以及相关关键技术指标,并能够对保证结果的正确性。本文分析了朔黄铁路网优路测过程中存在的主要问题,研究了 Cloudera大数据平台、天地图等大数据和地理信息组件,在此基础上实现了一个基于天地图以及Cloudera大数据平台的通讯运维大数据分析系统。实际应用表明,该系统能够直观、形象地展示出铁路沿线通信网络的整体情况,并能对常见的通信故障进行排查,大大提升了朔黄铁路公司通信运维的效率,具有较高的实用价值。
【学位授予单位】：北京交通大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：TN929.5

【相似文献】

中国期刊全文数据库 前10条

1 代美;陈林;赵惠燕;程登发;;扫描昆虫雷达数据分析系统的设计和研究[J];计算机工程与设计;2009年03期

2 李磊;;黑龙江邮政数据分析系统研究[J];林业科技情报;2011年04期

3 陈起榕;陈新亮;曹世彪;;一种新的数据分析系统前端展示方案[J];邮电设计技术;2012年10期

4 孟庆超;李永亮;;智能数据分析系统研究[J];现代商贸工业;2008年11期

5 郭静;;钢铁企业能源数据分析系统的构建[J];昆明理工大学学报(理工版);2009年05期

6 哈文雷;;基于云计算的油田数据分析系统[J];中国新技术新产品;2013年17期

7 黄丽丽;陈华辉;;博客数据分析系统的设计与实现[J];宁波大学学报(理工版);2008年03期

8 田月洁;焦波;谢金洲;;中药不良反应数据分析系统的设计与应用[J];中国药物警戒;2007年04期

9 毛兰斌;;基于机电结构检测的可靠性数据分析系统设计[J];中国高新技术企业;2008年08期

10 毛羽芳;王锐明;;天津市工商行政管理局数据分析系统的建设[J];信息系统工程;2010年07期

中国重要会议论文全文数据库 前7条

1 顾红生;;浅谈汽车行业竞品数据分析系统解决方案[A];第八届中国汽车设计与研发高峰论坛论文集[C];2013年

2 辛建峰;辛阳;;数据分析系统中的自定义量度方案设计实现[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年

3 尚屹;朱琦;;国家持久性有机污染物数据分析系统研究[A];2008中国环境科学学会学术年会优秀论文集（下卷）[C];2008年

4 郑慧娟;周嘉元;李斌;;水电站生产数据分析系统及其现场应用[A];中国水力发电工程学会信息化专委会2010年学术交流会论文集[C];2010年

5 张永忠;赵静;;基于事件检测算法的交通数据分析系统[A];2008全国第十三届自动化应用技术学术交流会论文集[C];2008年

6 王治国;王薇;訾凯;任鹏;;临床检验方法确认与性能验证数据分析系统(MVS)的开发与应用[A];中华医学会第九次全国检验医学学术会议暨中国医院协会临床检验管理专业委员会第六届全国临床检验实验室管理学术会议论文汇编[C];2011年

7 董刚;孙建林;谭耘宇;;建立梅钢热轧数据分析系统[A];自动化技术与冶金流程节能减排——全国冶金自动化信息网2008年会论文集[C];2008年

中国重要报纸全文数据库 前8条

1 记者 刘慧敏;开发区一企业研发成功“消费行为数据分析系统”[N];宁波日报;2009年

2 别志铭;基于云的大数据分析系统[N];网络世界;2013年

3 袁毅;苏州：数据分析系统精准问诊城市交通[N];人民公安报·交通安全周刊;2011年

4 绍兴职业技术学院 沈华峰 宁波大学信息科学与工程学院 朱双东;基于可缩放矢量图形数据分析系统的设计与实现[N];中国计算机报;2010年

5 记者 董科;转型客户服务 打造全新竞争力[N];期货日报;2010年

6 江苏省淮安市涟水地税局 周跃 黄吕胜 童政;应完善税收数据分析系统提升使用效能[N];中国税务报;2013年

7 陶利军;路桥当好企业经济分析师[N];中国工商报;2007年

8 本报记者 巩国强;汛潮的“卖点”[N];山西经济日报;2004年

中国硕士学位论文全文数据库 前10条

1 夷臻;学生事务数据分析系统的设计与实现[D];苏州大学;2015年

2 李永秋;智能化体检数据分析系统设计与实现[D];山东大学;2014年

3 翟羽佳;莱芜供电公司经营数据分析系统的设计与实现[D];山东大学;2015年

4 张磊磊;高考录取数据分析系统前端界面模块的设计与实现[D];山东大学;2015年

5 韩继军;金卡科技公司业务数据分析系统设计与实现[D];大连理工大学;2015年

6 张志祥;某数据分析系统的设计与实现[D];北京邮电大学;2015年

7 龙少杭;基于Storm的实时大数据分析系统的研究与实现[D];上海交通大学;2015年

8 余梦然;面向商务智能的公共交通数据分析系统的设计与实现[D];西安电子科技大学;2014年

9 张鹏宇;中国联通ERP用户感知业务监控数据分析系统的设计与实现[D];华南理工大学;2015年

10 廖宁平;石化企业数据分析系统的开发及运营管理中的应用[D];浙江工业大学;2014年

，

本文编号：1280392