基于高速公路大数据的偷逃费车辆发现方法研究

发布时间：2020-07-29 22:49

【摘要】：随着路网结构的快速扩大以及收费规模的不断扩大,高速公路上出现大量存在偷逃费行为的车辆,传统的以路段为单位各自防止逃费、打击逃费已经无法适应新形势下的运营管理的需求,成为高速公路运营管理部门的难点。现有的高速公路稽查偷逃费车辆大多以事后稽查为主,对大量离线历史数据进行数据挖掘所产生高延时,不利于及时处理逃费车辆,且低质量的原始数据会造成稽查结果的不准确。为了有效的利用高速公路收费数据,发现偷逃费车辆,本文针对稽查效率和准确率低的问题,针对业务场景下的特例展开了偷逃费车辆发现方法的研究。论文主要工作包括:1.提出了基于海量历史数据并行处理计算模型的偷逃费车辆离线检测方法。高速公路联网运营系统会记录下高速公路上每天进出收费站车辆的收费信息,形成一份离线的收费数据。针对高速公路历史收费数据,本文设计离线检测方法,对历史收费数据进行分析和处理,稽查出可疑的逃费车辆,实现了事后稽查。2.提出了基于实时连续数据的偷逃费车辆在线检测方法。车辆在高速公路驶出车道时,会经过传感设备实时采集获取收费信息,形成实时收费数据流。针对高速公路实时收费数据,本文设计的在线检测方法,对实时收费数据流的信息进行计算,即时发现可疑逃费车辆,实现了当场稽查。3.设计实现了高速公路偷逃费车辆稽查系统。根据不同的逃费手段,细化了不同的页面,将所设计的离线检测方法和在线检测方法,应用于实际的事后稽查和当场稽查场景中,实现了偷逃费车辆稽查系统,展示了事后稽查和当场稽查的结果,提供了本文偷逃费车辆发现方法研究的可视化结果。
【学位授予单位】：北方工业大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP311.13;U495
【图文】：

存储模型,列式

列族（ｃｏｌｕｍｎ邋ｆａｍｉｌｙ），列族需要在表格创建的初始时就定义好，而且修改的频逡逑率不能过快，数量也不能够设置太多。逡逑如图２－１，为Ｈｂａｓｅ列式存储模型，行和列没有像关系型数据库那样，以表逡逑格的行式形式存储，而是采用了标签的形式，将所有的信息，保存在一个标签下，逡逑也就是ｒｏｗ中。ｒｏｗ中可以设置不同的列，而该行健的列又可以在不同的列族中，逡逑不同的列还可以在不同的列族中。逡逑ｒ0ｗＡ邋＾逡逑ｒ0ｗＢ逦——逦—逦逦逡逑晴ｃ邋．逦逦１二＝二逦－Ｊ逡逑．邋—■邋．１逡逑Ｆａｍｉｌｙｌ逦Ｆａｍｉｌｙ２逡逑图２－１邋Ｈｂａｓｅ列式存储模型逡逑Ｈａｄｏｏｐ框架最核心的另一个设计就是ＭａｐＲｅｄｕｃｅ编程模型，为大规模数据逡逑提供了高效并行计算方式的可能。ＭａｐＲｅｄｕｃｅ由两个阶段组成，一个是Ｍａｐ邋（映逡逑射）阶段，另一个是Ｒｅｄｕｃｅ邋（归约）阶段，用户只需完成ｍａｐ0和ｒｅｄｕｃｅ（）两个逡逑函数的编写，即可实现分布式计算。Ｈａｄｏｏｐ的ＭａｐＲｅｄｕｃｅ的功能是打破单个任逡逑务并将碎片任务（Ｍａｐ）发送到多个节点，然后将其作为单个数据集加载（Ｒｅｄｕｃｅ）逡逑到数据仓库中。逡逑一个ＭａｐＲｅｄｕｃｅ模型算法至少应该由３部分组成：一个Ｍａｐ

编程模型,计算流程

在这个功能上，Ｈａｄｏｏｐ提供了许多的ｊａｖａ接口和抽象类，为Ｈａｄｏｏｐ应逡逑用程序开发人员提供了许多用于调试和性能指标的工具。逡逑如图２－２为Ｍａｐｒｅｄｕｃｅ编程模型的执行步骤。逡逑Ｍａｐ阶段任务逡逑当用户（Ｃｌｉｅｎｔ）将ＭａｐＲｅｄｕｃｅ程序打ｊａｒ包发送任务指令运行之后，任务逡逑跟踪器（ＪｏｂＴｒａｃｋｅｒ）读取Ｈｂａｓｅ数据库表中的数据，相当于图中的ＩｎｐｕｔＳｐｌｉｔ。逡逑每一行合成一ｔ＜ｋｅｙＯ，ｖａｌｕｅＯ＞的集合，每一个键值对集合调用一次ｍａｐ函数。逡逑之后覆盖ｍａｐ0，接收生成的＜ｋｅｙ０，ｖａｌｕｅ０＞，处理过后转换为新的＜ｋｅｙｌ，ｖａｌｕｅｌ＞逡逑输出。对＜１＾１，奶１此１＞进行分区，然后对不同分区中的数据进行排序、分组，艮Ｐ逡逑把相同ｋｅｙ值的ｖａｌｕｅ放到一个集合中。逡逑Ｒｅｄｕｃｅ阶段任务逡逑对多个Ｍａｐｐｅｒ任务的输出，也就是ＭａｐＯｕｔｐｕｔ，按照不同的分组，通过合逡逑并复制到不同的Ｒｅｄｅｃｅｒ节点上，对ＭａｐＯｕｔｐｕｔ进行合并、排序，根据需求进行逡逑不同的处理

系统架构,组件,处理阶段,单元

数据处理过程分为不同的处理阶段，每个处理阶段在构造时被称为组件，在运行逡逑时被称为任务。逡逑Ｔｏｐｏｌｏｇｙ的构成如图２－４所示，作业由多个组件按照一定的处理逻辑顺序构逡逑成，根据组件作用的不同，分为Ｓｐｏｕｔ组件和Ｂｏｌｔ组件，这两类组件通过数据流逡逑１１逡逑

【相似文献】