交通物流大数据处理的元数据管理系统的设计与实现

发布时间：2020-05-12 17:05

【摘要】：伴随着科学技术的发展与进步,大数据处理技术开始在很多的行业内部得到了深度的研究以及广泛的应用。本文以淮安市物流平台建设为研究对象,采用Map Reduce作为基本的结构,以Hadoop作为技术的支撑,可以为交通以及政府部门开展相关的服务,对于SaaS基础技术的应用开展大数据处理与相关工作。因为交通物流大数据处理应用开发涉及众多领域,为此如何更好地综合多数据多目标来解决问题是本文所研究的关键。同时对于Map Reduce模块含有的工作引擎以及Oozie支撑的大数据处理具有的组装流程操作,如何避免Oozie在执行的时候因为其节点间的数据依据导致执行效率低的情况,也是本文所研究的关键内容所在。对于上述的背景分析,本文利用在Map Reduce、Hadoop、Oozie等相关技术开展介绍的层面下,通过提出上下游节点模块部分并行的Map Reduce工作流程,继而优化交通物流大数据的处理模式。通过最后的测试与实际的应用我们可以看出这个系统是有效及可行的。同其他的系统比较,本文特点如下:首先是对于Map Reduce工作流程具有的利用效率较低的问题,采用Map Reduce内部具有的Reduce Task作业特征进而实现对于不同时间的操作模式,下游节点可以部分优先于上游节点工作操作,进而实现上下游节点模块可以同时的开展,使得系统的工作效率大幅度的提升。其次在原有的Hadoop基础之上,采用的是支持实现并追加输入的Map Reduce基本操作的结构。对于正在执行的Map Reduce操作就可追加输入数据,使得上下游的模块可以并行操作,为自身的工作提供保证。在原有的Oozie模块上,开展的支持上下游并行操作的Map Reduce工作模式,这个模块具有的双执行器结构,进而可以识别得到内部含有的Map Reduce作业的上下游模块开展执行并分析。通过实际的测试结果我们可以看到,对于Reduce Task数量大于集群的Reduce Slot含有的并发数的时候,通过部分的执行模式使得自身的工作效率提升的幅度在20%左右。最后是对于多决策模块具有的大数据处理问题开展研究,研究的重点是开发者提出大数据处理模块含有的集成开发操作。基于这个集成模块含有的HadoopEclipse插件,提出测试沙箱模块,使得开发人员可以在这一个环境之下实现本文的具体测试、实际部署等操作。
【图文】：

元数据模型,企业,元数据,业务实体

如图2-1 所示就是这几种分支具有的三层概念模式[18]。图 2-1 企业元数据模型在业务员数据模块，主题域模式（顶层表示）本质上属于业务需求方面的具体规定分析。中层模块各主题域可以向交易实体或自身业务实体分解，同时通过底层模块所含有的业务数据将自身实际功能提供出来。例如，，交通物流模块中的元数据主题通常包括运输模式、综合执行方法、实际信息（货运市场）[32]等。其业务实体采用的是车辆、违章案例等开展实际分析。技术元数据模块和元数据模

元数据,管理模式,策略,数据

对于系统内部的 ETL 元数据，指的是在 ETL 结构内部，通过数据的抽取、剔除以及转换等得到自身的元数据，这些元数据组内部得到 ETL 任务，储存在自身的资料库内部。ETL 实际操作利用的声明模式的框架实现，也就是用户需求ETL 任务采用前将有关控制信息、描述信息得到，且完成设置，无需人工操作任务执行模块。因此如果是理想操作模式，一律通过元数据开始点到点数据加载过程[29]，控制元数据与 ETL 任务元数据等的实现通常可以包括在这些元数据中。2.1.3 元数据管理模式系统实际操作（比如获得、存储、维护元数据等）实质上属于元数据管理模块中的操作，而在交通物流系统模块中，元数据在各个企业应用的内部，通过研究我们可以看到，元数据的获得以及处理模式包括如图 2-2 所示的分布式、集中式[19]等：
【学位授予单位】：江苏大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP311.13

【参考文献】