面向交管业务分析的时空算子设计与实现

发布时间：2020-10-23 01:37

　　 交管数据是时空大数据的重要组成部分。改革开放以来,我国城市交通发展迅速,积累了海量的交管数据,包含城市交通静态数据和动态数据。这些海量交管数据中蕴含着非常多有价值的信息,这些信息有助于交管部门决策,精准辅助交管业务。交管业务中经常需要统计驾驶员违法排名,统计路段事故数量以及分析路网超速行驶的轨迹点和车辆信息等类似的工作。这些工作本质是数据库相关数据表的查询统计,SQL语句或是简单或是复杂。但是交管业务中类似的工作具有很多,如果每个统计分析都由数据库查询统计或者相应的程序来完成,那么交管业务的工作量是巨大的,显然效率也是低下的。因此,在分析了交管数据应用价值与交管业务需求基础上,如何在交管数据中高效计算分析其中的信息成为亟需解决的问题。然而,传统的时空数据分析系统多运行于单机系统,缺乏在线服务,对空间数据类型支持度不高,对海量数据的计算分析效率较低。基于以上交管业务需求与存在的问题,本文尝试一种面向交管业务分析的时空算子,旨在将交管业务中交管数据分析分解为多个子任务。本文采用时空算子与子任务关联,表达子任务数据操作,将交管数据分析抽象为一个模型,这样整个模型构建就是由多个关联算子的子任务组合而成。每个算子负责与其关联子任务的计算功能,子任务间可以存在依赖关系。整个模型执行就是构成该模型的多个子任务按照依赖关系的调度执行。基于以上技术思路,本文设计相关时空算子。根据交管日常业务特点与需求,对时空算子种类进行详细划分。在时空算子执行方面,本文针对Spark执行策略与SQL结构化记录执行策略进行相应执行效率实验,基于对比实验结果和算子执行效率考虑,时空算子执行策略采用两种执行策略相结合的方式,并设计算子执行策略选择规则,保证时空算子执行过程中选择适当的执行策略进行计算。顾及时空算子的两种执行策略,定义虚拟表的概念作为时空算子的输入输出参数,并根据时空算子两种执行策略特点,设计虚拟表结构。时空算子计算方面,设计基础算子参数和时空算子参数,其中时空算子参数引用基础算子参数。另外,定义并设计时空算子统一的计算接口以及内部不同执行策略下的计算接口。模型由多个子任务组合而成,模型的执行就是多个子任务的调度执行。在模型构建方面,本文采用Dexecutor调度框架与模型结合,任务与时空算子关联等手段构建模型,并阐述模型执行计划的构造过程。在模型执行方面,本文阐述模型整体执行和模型单步执行两种方式,并描述模型多任务的调度执行过程。为了深刻地阐述模型调度过程,本文从非空间和空间两个角度入手,以实际具体的典型模型例子分析模型调度过程。最后,本文对模型多任务的调度执行与串行执行进行执行效率对比实验,验证模型调度执行的有效性和优势。此外,本文基于以上研究结果设计实现原型系统,并设计实验,对以上研究进行实验分析,达到了预想的效果。最后,对本文的工作进行整体说明,总结本文的研究内容,也指出本文做的不足之处,并针对不足的地方提出后续的研究重点。
【学位单位】：武汉大学
【学位级别】：硕士
【学位年份】：2018
【中图分类】：P208;U495
【部分图文】：

图Ｕ总体技术思路流程图??交管日常业务中，交管数据业务是最为主要的部分。交管数据业务涉及数据??采集、数据分析以及数据管理等方面。本文针对交管数据分析业务进行研宄、调??研，发现其具有数据复杂、工作量大的特点，大部分交管数据分析业务均是对数??据库相关表进行统计或者分析操作。基于此，本文将一项交管数据分析业务抽象??为一个模型，并将该模型分解为多个子任务，每个子任务都会与相应的时空算子??

第三章为时空算子设计，第四章为模型调度与执行，第五章为原型系统设计与实??现，第六章为总结与展望。第三、四、五章是本文研究的主要内容以及实现结果。??本文章节关系如图１．２所示。??第一章：绪论??＜＞??第二章：分布式架构与相关技术??第三章：时空算子设计二＾?第四章：模型任务调度??第五章：原型系统设计与实现??第六章：本文总结与展望??图１．２章节关系图??各章节具体描述如下：??第一章，绪论。主要介绍本文选题理由以意义，本课题国内外研究现状，本??文研究目标与内容以及本文总体技术思路，最后阐述本文组织结构。??第二章，分布式架构及相关技术。介绍本课题使用的云服务平台、Ｓｐａｒｋ?ＳＱＬ??相关技术、Ｄｅｘｅｃｕｔｏｒ任务调度框架以及用于空间数据计算分析的ＧｅｏＳｐａｒｋ技??术。??７??

２．１交管云服务平台??交管云平台是基于Ｈａｄｏｏｐ、Ｓｐａｒｋ等开源基础框架搭建的云服务平台，其基??本架构如图２．１所示。??Ｔ用Ａ室内ＧＩＳ服务位指纹册务｜定位特征库服务｜定位接入服务｜?云??二??［二——?＾?端??ｇ?代码即服务工具集运行状态汇报｜本地开发调试｜集群信息??应用中心接口功能集｜本地卷操作｜｜云计算资源储资源；??，?ｎ?ｔ??１?云基础设施安装与监控?．下载，与雙一??适?本地资源监控与汇报?应用清理?｜?Ｉ?……??理?１?????—方——??１＊．应用访问代理…丨———权限管理Ｉ丨运维管理．Ｊ！???｜?ｎ??ｊ＾ｌ?软件仓库?｜｜?应用实例管理?应用运行信息监控??添加应用｜｜应用热升级｜ｉ实例部ｇ?实例分部扩展?执行进度安戈状态??应用上载｜｜安装扩展服务｜?｜实例重启?实例资源自适应适配ｆ?０定义佶怠??Ｉ?１?１１?１１?＇?ｉＬ?１?丨??基础云环?ＥｌａｓｔｉｃＳｅａｒｃｈ?Ｋａｆｋａ?Ｓｐａｒｋ?ＭＬｌｉｂ?ｊ?．．．??謹?境巨理?Ｈａ?ｄｏ?ｏｐ?［?Ｍａｐ－Ｒｅｄｕｃｅ?Ｙａｒｎ?］?［?Ｚｏｏｋｅｅｐｅｒ?｜?［?ＨＤＦＳ?＼＼?．．．］??遍云牛和｜创建云主机?云主机启动／停止?卷替ｇ丨创建独占卷｜?｜绑定／解绑｜??管理云主机监控?实时资源统计Ｉ?（Ｇ
【参考文献】

相关期刊论文 前10条

1 段宗涛;郑西彬;李莹;刘研;王向宇;康军;唐蕾;;道路交通大数据及其关键技术研究[J];微电子学与计算机;2015年06期

2 王雅琼;杨云鹏;樊重俊;;智慧交通中的大数据应用研究[J];物流工程与管理;2015年05期

3 王劲峰;葛咏;李连发;孟斌;武继磊;柏延臣;杜世宏;廖一兰;胡茂桂;徐成东;;地理学时空数据分析方法[J];地理学报;2014年09期

4 马英杰;;交通大数据的发展现状与思路[J];道路交通与安全;2014年04期

5 唐一韬;黄晶;肖球;;一种基于DAG的MapReduce任务调度算法[J];计算机科学;2014年S1期

6 田国忠;肖创柏;赵娟娟;;云计算环境下多DAG调度的资源分配进化算法[J];计算机应用研究;2014年09期

7 刘丹琦;于炯;英昌甜;;云计算环境下多有向无环图工作流的节能调度算法[J];计算机应用;2013年09期

8 王彦明;奉国和;薛云;;近年来Hadoop国外研究综述[J];计算机系统应用;2013年06期

9 姜燕;胡凯;杨志斌;张新宇;;基于扩展的随机DAG的并行任务调度算法研究[J];计算机科学;2008年07期

10 杜晓丽;蒋昌俊;徐国荣;丁志军;;一种基于模糊聚类的网格DAG任务图调度算法[J];软件学报;2006年11期

相关硕士学位论文 前3条

1 姬倩倩;公共交通大数据平台架构服务模式研究[D];西安电子科技大学;2014年

2 顾星;集群系统中基于DAG模型的任务调度算法研究[D];南京航空航天大学;2012年

3 华强胜;基于DAG模型的高效并行任务调度算法研究[D];中南大学;2004年

本文编号：2852377