复杂信息系统的数据提
发布时间：2021-01-01 17:09
在信息化时代背景下,每天都会产生大量的数据,需要处理的数据量越来越大,对处理时间的要求却越来越短。面对如此繁杂众多的信息系统以及海量的数据,如何从这些复杂信息系统中提取有用的数据进行分析决策是当下面临的一大难题。在此背景下,本文将研究交通警察信息系统中数据的提取以及建模应用。本文选取交通警察信息系统的数据进行应用研究,首先确定好交通数据的新型存储平台——数据仓库,这将存储散落在原先各个业务系统中的数据。为保证交通警察数据仓库中数据的同步性和准确性,本文结合gpload的特性设计实现了数据导入的ETL工具,将抽取出来的数据,进行转换后再并行加载。还设计了调度中心来对生产环境中的ETL任务集群进行调度,其使用高响应比优先策略搭配蚁群算法来负责处理ETL任务的调度安排,使用quartz负责实际调度执行,从而将数据提取到数据仓库中。然后对交通警察数据仓库中的数据进行分析,例如在卡点采集的车辆经过数据中寻找其中的套牌车辆。先对卡口数据集的结构进行了分析,找出其中跟套牌车分析有关的属性信息,并将业务上的分析方法转化成定量的数学模型。再引入时空矛盾的新约束,设计基于时空矛盾的车牌套牌算法,将相关套牌...
【文章来源】：浙江理工大学浙江省
【文章页数】：85 页
【学位级别】：硕士
【部分图文】：
论文体系结构
、数据存储与分析层、数据共享层和数据应用层组成。源头层是数据仓库的基础，也是整个数据仓库数据的源头，主要来源于交通系统和道路卡点监测系统等业务系统的实际业务数据。 ETL 层主要负责将数据源头层中分布广泛的各种业务数据经过抽取、转换、后加载到数据仓库的存储层中。存储与分析层是负责交通警察数据的组织、管理以及相关分析，通过数据分进行情报研判、车辆轨迹分析以及对数据的实时分析处理来进行交通诱导。共享层是将数据仓库中的数据提供给其他系统和部门来使用，比如情报部门数据分析来对嫌疑人员进行有重点的布控和抓捕。应用层主要是各种数据查询分析界面，如只需在交通警察数据仓库就可查询据而无需跨部门协调查询，还可将车辆的所有信息可视化的展示出来，做到知方位，并对应上不同的标签，来对不同类型的车辆进行个性化分析和预测
图 2.2 交通警察数据仓库特征1）面向主题性，是指交通警察数据仓库的设计和规划是按照一定的主题进行推动通警察会对车辆的相关信息更为敏感，因此在数据存储和数据模块的划分时更注这一主题。特别是其中数据量最大、关系最为复杂的车辆经过卡点识别信息表，储时就应该按照车辆这个主体的相关信息这个分类进行存储[18]，而不是按照卡点 集时间来进行存储，这样才能针对性的提供决策分析时的数据支持。2）集成性，交通警察数据仓库的数据来自于不同业务系统中的数据和现场执法据，在对源头的数据进行数据抽取后，需要对不一致性的数据进行加工和集成[19]辆经过卡点识别信息中的号牌号码和车辆登记系统中的号牌号码格式不一致，需格式统一化后再进行保存。3）稳定性，交通警察数据仓库主要是将存储的数据对用户提供频繁的数据获取析展示，和传统的关系型数据库相比而言少了数据的修改，因此数据仓库的数据
【参考文献】：
期刊论文
[1]2017年全国机动车和驾驶人保持高位增长[J]. 道路交通管理. 2018(02)
[2]基于聚类分组和属性综合权值的SNM改进算法[J]. 杨巧巧,郭振波,王开西. 工业控制计算机. 2017(09)
[3]基于开源代码的ETL工具的实现[J]. 汪洋,韩宁. 微型机与应用. 2016(24)
[4]基于计算机软件开发的JAVA编程语言解析[J]. 朴宏波. 科技创新导报. 2016(30)
[5]海量车牌识别数据集上基于时空划分的旅行时间计算方法[J]. 赵卓峰,丁维龙,张帅. 电子学报. 2016(05)
[6]基于历史车牌识别数据的套牌车并行检测方法[J]. 李悦,刘晨. 计算机应用. 2016(03)
[7]智慧搜索中的实体与关联关系建模与挖掘[J]. 王晓阳,郑骁庆,肖仰华. 通信学报. 2015(12)
[8]基于任务合并的并行大数据清洗过程优化[J]. 杨东华,李宁宁,王宏志,李建中,高宏. 计算机学报. 2016(01)
[9]异构信息空间中实体关联关系挖掘算法CFRQ4A[J]. 杨丹,申德荣,聂铁铮,于戈,寇月. 计算机研究与发展. 2014(04)
[10]BI系统从规划、实施到持续改进[J]. 王小玲. 信息系统工程. 2013(08)
硕士论文
[1]基于ETL的数据集成及交换系统的实现与优化[D]. 李磊.北方工业大学 2018
[2]工业大数据相似重复记录数据清洗关键技术研究[D]. 杨巧巧.青岛大学 2018
[3]基于SpringBoot和Vue框架的电子招投标系统的设计与实现[D]. 焦鹏珲.南京大学 2018
[4]基于大数据的实时交通流预测方法研究[D]. 白亚男.广东工业大学 2018
[5]基于Kettle集群的ETL管理系统的设计与实现[D]. 张懿.山东大学 2018
[6]基于数据仓库的社保统计分析系统的设计与实现[D]. 唐磊.电子科技大学 2018
[7]基于机器学习的多源异构大数据清洗技术研究[D]. 杨尚林.广西大学 2017
[8]基于B/S的教学培训信息管理系统的设计与实现[D]. 位超.电子科技大学 2017
[9]基于Storm的海量交通数据实时处理平台的研究[D]. 乔通.北方工业大学 2017
[10]基于企业信息资源目录的多源ETL模型的研究[D]. 于洋.东北石油大学 2017
本文编号：2951677
【文章来源】：浙江理工大学浙江省
【文章页数】：85 页
【学位级别】：硕士
【部分图文】：
论文体系结构
、数据存储与分析层、数据共享层和数据应用层组成。源头层是数据仓库的基础，也是整个数据仓库数据的源头，主要来源于交通系统和道路卡点监测系统等业务系统的实际业务数据。 ETL 层主要负责将数据源头层中分布广泛的各种业务数据经过抽取、转换、后加载到数据仓库的存储层中。存储与分析层是负责交通警察数据的组织、管理以及相关分析，通过数据分进行情报研判、车辆轨迹分析以及对数据的实时分析处理来进行交通诱导。共享层是将数据仓库中的数据提供给其他系统和部门来使用，比如情报部门数据分析来对嫌疑人员进行有重点的布控和抓捕。应用层主要是各种数据查询分析界面，如只需在交通警察数据仓库就可查询据而无需跨部门协调查询，还可将车辆的所有信息可视化的展示出来，做到知方位，并对应上不同的标签，来对不同类型的车辆进行个性化分析和预测
图 2.2 交通警察数据仓库特征1）面向主题性，是指交通警察数据仓库的设计和规划是按照一定的主题进行推动通警察会对车辆的相关信息更为敏感，因此在数据存储和数据模块的划分时更注这一主题。特别是其中数据量最大、关系最为复杂的车辆经过卡点识别信息表，储时就应该按照车辆这个主体的相关信息这个分类进行存储[18]，而不是按照卡点 集时间来进行存储，这样才能针对性的提供决策分析时的数据支持。2）集成性，交通警察数据仓库的数据来自于不同业务系统中的数据和现场执法据，在对源头的数据进行数据抽取后，需要对不一致性的数据进行加工和集成[19]辆经过卡点识别信息中的号牌号码和车辆登记系统中的号牌号码格式不一致，需格式统一化后再进行保存。3）稳定性，交通警察数据仓库主要是将存储的数据对用户提供频繁的数据获取析展示，和传统的关系型数据库相比而言少了数据的修改，因此数据仓库的数据
【参考文献】：
期刊论文
[1]2017年全国机动车和驾驶人保持高位增长[J]. 道路交通管理. 2018(02)
[2]基于聚类分组和属性综合权值的SNM改进算法[J]. 杨巧巧,郭振波,王开西. 工业控制计算机. 2017(09)
[3]基于开源代码的ETL工具的实现[J]. 汪洋,韩宁. 微型机与应用. 2016(24)
[4]基于计算机软件开发的JAVA编程语言解析[J]. 朴宏波. 科技创新导报. 2016(30)
[5]海量车牌识别数据集上基于时空划分的旅行时间计算方法[J]. 赵卓峰,丁维龙,张帅. 电子学报. 2016(05)
[6]基于历史车牌识别数据的套牌车并行检测方法[J]. 李悦,刘晨. 计算机应用. 2016(03)
[7]智慧搜索中的实体与关联关系建模与挖掘[J]. 王晓阳,郑骁庆,肖仰华. 通信学报. 2015(12)
[8]基于任务合并的并行大数据清洗过程优化[J]. 杨东华,李宁宁,王宏志,李建中,高宏. 计算机学报. 2016(01)
[9]异构信息空间中实体关联关系挖掘算法CFRQ4A[J]. 杨丹,申德荣,聂铁铮,于戈,寇月. 计算机研究与发展. 2014(04)
[10]BI系统从规划、实施到持续改进[J]. 王小玲. 信息系统工程. 2013(08)
硕士论文
[1]基于ETL的数据集成及交换系统的实现与优化[D]. 李磊.北方工业大学 2018
[2]工业大数据相似重复记录数据清洗关键技术研究[D]. 杨巧巧.青岛大学 2018
[3]基于SpringBoot和Vue框架的电子招投标系统的设计与实现[D]. 焦鹏珲.南京大学 2018
[4]基于大数据的实时交通流预测方法研究[D]. 白亚男.广东工业大学 2018
[5]基于Kettle集群的ETL管理系统的设计与实现[D]. 张懿.山东大学 2018
[6]基于数据仓库的社保统计分析系统的设计与实现[D]. 唐磊.电子科技大学 2018
[7]基于机器学习的多源异构大数据清洗技术研究[D]. 杨尚林.广西大学 2017
[8]基于B/S的教学培训信息管理系统的设计与实现[D]. 位超.电子科技大学 2017
[9]基于Storm的海量交通数据实时处理平台的研究[D]. 乔通.北方工业大学 2017
[10]基于企业信息资源目录的多源ETL模型的研究[D]. 于洋.东北石油大学 2017
本文编号：2951677
本文链接：https://www.wllwen.com/falvlunwen/fanzuizhian/2951677.html
