隧道交通状况的大数据挖掘方法研究

发布时间：2017-10-08 15:15

  本文关键词：隧道交通状况的大数据挖掘方法研究

  更多相关文章： 隧道交通 大数据 数据挖掘 hadoop 智能交通

【摘要】：随着我国隧道和桥梁工程技术的快速发展,高速公路的建设速度加快,我国已经成为世界上高速公路通车里程较长、隧道和桥梁最多的国家,在给交通带来便利的同时也对隧道交通安全管理提出了新的要求。本课题组研究“高速公路隧道照明节能控制系统”,基于“机器视觉技术”获取照明灯组的开/关、亮度调节的控制触发信息,其视频信息包含了隧道节点、行车图像、车速、车牌、车型等等信息,隧道交通是公路交通的重要组成部分,是“智能交通”不可或缺的单元,为加快智能交通发展,本文在课题研究的基础上,对隧道交通信息化管理进行前期探索。传统隧道监控系统的数据,多以图片、视频方式存储,其数据量大而且格式不同,难于进行分析和利用,如今大数据技术提供了一个有效的解决途径。本课题组为实施隧道照明智能化控制而采用“机器视觉技术”,通过图像处理获取控制触发信息的同时,其运算得到的一些特征信息可以存储利用。因数据都是经过处理后的特征数据,信息量不会减少,但数据的存储空间却大大降低了,通过数据挖掘技术获取交通数据服务于智能交通,有广阔的应用前景。本文首先简述数据挖掘的基本理论、隧道交通的研究现状、交通领域数据挖掘的发展,为隧道交通信息的数据挖掘做理论铺垫;接着分析了隧道交通数据的数据流来源及其特性,对隧道内的数据流的格式和类型做了简单阐述;然后介绍大数据平台的搭建过程,并基于hadoop技术阐述隧道交通大数据分析系统的系统架构、数据系统,对系统的数据采集、预处理过程,以及基于Map-Reduce快速提取有效信息的方法进行研究,最后利用数据挖掘方法对隧道交通拥堵预测做进一步研究。通过数据挖掘实验测试,达到了预期成效。
【关键词】：隧道交通 大数据 数据挖掘 hadoop 智能交通
【学位授予单位】：贵州大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：U491;TP311.13
【目录】：

• 摘要5-6
• Abstract6-8
• 第一章 绪论8-15
• 1.1 研究背景及意义8-9
• 1.2 国内外研究现状9-13
• 1.2.1 隧道交通研究现状9-11
• 1.2.2 数据挖掘研究现状11-13
• 1.3 论文研究内容13-15
• 第二章 数据挖掘基本理论15-19
• 2.1 引言15
• 2.2 数据挖掘流程15-17
• 2.3 数据挖掘方法17-18
• 2.3.1 关联规则17
• 2.3.2 数据分类17-18
• 2.3.3 预测18
• 2.3.4 聚类分析方法18
• 2.4 本章小结18-19
• 第三章 隧道交通数据流19-27
• 3.1 引言19
• 3.2 隧道交通数据分析19-26
• 3.2.1 隧道交通数据处理现状分析19-20
• 3.2.2 隧道交通检测设备安装20-22
• 3.2.3 隧道交通数据流22-26
• 3.3 本章小结26-27
• 第四章 大数据理论及其平台技术27-38
• 4.1 引言27
• 4.2 Hadoop平台概述27-29
• 4.3 Hadoop平台核心系统工作原理29-32
• 4.3.1 Hadoop分布式文件系统29-30
• 4.3.2 Map-Reduce分布式计算工作原理30-32
• 4.4 Hadoop平台的搭建与测试32-37
• 4.4.1 Hadoop的安装与配置32-34
• 4.4.2 基于eclipse的Hadoop开发应用配置34-37
• 4.5 本章小结37-38
• 第五章 系统架构与核心模块的实现及应用38-67
• 5.1 系统的整体架构设计38-42
• 5.1.1 数据获取层39-40
• 5.1.2 数据传输转换层40
• 5.1.3 数据存储层40-41
• 5.1.4 数据分析层41-42
• 5.1.5 数据应用服务层42
• 5.2 基于Hadoop数据中心平台系统42-45
• 5.3 数据预处理核心模块实现45-53
• 5.3.1 数据的采集与预处理模块45-48
• 5.3.2 数据清洗模块48-52
• 5.3.3 历史数据整合存储模块52-53
• 5.4 隧道交通数据挖掘的应用研究53-57
• 5.4.1 隧道交通拥堵分析53-54
• 5.4.2 隧道交通拥堵评价分析54-56
• 5.4.3 隧道车辆事故预测分析56-57
• 5.5 基于Map-Reduce交通流参数提取方法研究57-61
• 5.6 隧道交通拥堵模型分析验证61-65
• 5.7 本章小结65-67
• 第六章 总结与展望67-69
• 6.1 总结67-68
• 6.2 展望68-69
• 致谢69-70
• 参考文献70-74
• 攻读硕士学位期间发表的论文74-75

【相似文献】

中国期刊全文数据库 前10条

1 乌英格;陈宝平;;数据挖掘在客户关系管理中的应用[J];内蒙古科技与经济;2005年24期

2 焦健;王祥;;数据挖掘在美国本土安全中的应用[J];舰船电子工程;2006年01期

3 杨洋;;Web数据挖掘的分析与探讨[J];装备制造技术;2006年05期

4 刘娟;;Web数据挖掘及其在个性化网上购物实现的探讨[J];企业技术开发;2007年07期

5 李世超;麦范金;;数据挖掘在现代企业经营管理中的应用[J];桂林航天工业高等专科学校学报;2008年04期

6 崔永君;;数据挖掘的系统构成与发展趋势[J];硅谷;2009年03期

7 侯晓凌;;浅谈数据挖掘[J];科学之友(B版);2009年04期

8 张涛;;Web数据挖掘现状分析[J];科学之友(B版);2009年06期

9 黄雄伟;陈定方;祖巧红;;Web数据挖掘可视化研究与应用[J];湖北工业大学学报;2009年04期

10 王岩;;数据挖掘领域探索[J];硅谷;2010年05期

中国重要会议论文全文数据库 前10条

1 史东辉;蔡庆生;张春阳;;一种新的数据挖掘多策略方法研究[A];第十七届全国数据库学术会议论文集（研究报告篇）[C];2000年

2 张弦;;数据挖掘在农业中的应用[A];纪念中国农业工程学会成立30周年暨中国农业工程学会2009年学术年会（CSAE 2009）论文集[C];2009年

3 魏顺平;;教育数据挖掘:现状与趋势[A];信息化、工业化融合与服务创新——第十三届计算机模拟与信息技术学术会议论文集[C];2011年

4 关清平;沉培辉;;概率网络在数据挖掘上的应用[A];科技、工程与经济社会协调发展——中国科协第五届青年学术年会论文集[C];2004年

5 丁瑾;;基于Web数据挖掘的综述[A];山西省科学技术情报学会学术年会论文集[C];2004年

6 聂茹;田森平;;Web数据挖掘及其在电子商务中的应用[A];中南六省（区）自动化学会第24届学术年会会议论文集[C];2006年

7 李菊;王军;;数据挖掘在客户关系管理的应用[A];计算机技术与应用进展·2007——全国第18届计算机技术与应用（CACIS）学术会议论文集[C];2007年

8 肖阳;李启贤;;数据挖掘在中国钢铁行业中的应用[A];中国计量协会冶金分会2012年会暨能源计量与节能降耗经验交流会论文集[C];2012年

9 杨磊;王贵成;汪勇;张占胜;;SQL Server 2005在数据挖掘中的应用[A];2009年中国智能自动化会议论文集（第二分册）[C];2009年

10 谢中;邱玉辉;;面向商务网站有效性的数据挖掘方法[A];第十八届全国数据库学术会议论文集（技术报告篇）[C];2001年

中国重要报纸全文数据库 前10条

1 本报记者褚宁;数据挖掘如“挖金”[N];解放日报;2002年

2 周蓉蓉;数据挖掘需要点想像力[N];计算机世界;2004年

3 □中国电信股份有限公司北京研究院 张舒博 □北京邮电大学计算机科学与技术学院 牛琨;走出数据挖掘的误区[N];人民邮电;2006年

4 《网络世界》记者 王莹;数据挖掘保险业的新蓝海[N];网络世界;2012年

5 刘俊丽;基于地理化的网络数据挖掘与分析提升投资有效性[N];人民邮电;2014年

6 本报记者 连晓东;数据挖掘：金融信息化新热点[N];中国电子报;2002年

7 本报记者 凤小华 朱仁康;“数字挖掘软件”引领中国信息化新浪潮[N];中国电子报;2003年

8 本报记者　史延廷;“成功企业数据挖掘暨数量化管理论坛”在京举办[N];中国旅游报;2002年

9 朱小宁;数据挖掘：信息化战争的基础工程[N];解放军报;2005年

10 本报记者 王小平;从“大集中”走向数据挖掘[N];金融时报;2002年

中国博士学位论文全文数据库 前10条

1 于自强;海量流数据挖掘相关问题研究[D];山东大学;2015年

2 张馨;全基因组SNP芯片应用于CNV和L0H分析的软件比对与数据挖掘[D];复旦大学;2011年

3 彭计红;基于数据挖掘的痴呆中医证的研究[D];南京中医药大学;2015年

4 李秋虹;基于MapReduce的大规模数据挖掘技术研究[D];复旦大学;2013年

5 邬文帅;基于多目标决策的数据挖掘方法评估与应用[D];电子科技大学;2015年

6 谢邦彦;整合数据挖掘与TRIZ理论的质量管理方法研究[D];首都经济贸易大学;2010年

7 何伟全;云南高校学生意外伤害因素关联规则挖掘及风险管控体系研究[D];昆明理工大学;2015年

8 段功豪;基于多结构数据挖掘的滑坡灾害预测模型研究[D];中国地质大学;2016年

9 白晓明;基于数据挖掘的复合材料宏—细观力学模型研究[D];哈尔滨工业大学;2016年

10 蓝永豪（LAM Wing Ho）;基于数据挖掘技术分析当代中医名家痤疮验方经验研究[D];南京中医药大学;2016年

中国硕士学位论文全文数据库 前10条

1 林仁红;基于数据挖掘的机遇识别与评价研究[D];首都经济贸易大学;2007年

2 张彦俊;游戏运营中的数据挖掘[D];复旦大学;2011年

3 焦亚召;基于多核函数FCM算法在数据挖掘聚类中的应用研究[D];昆明理工大学;2015年

4 王杰锋;物联网能耗数据智能分析及其应用平台设计[D];江南大学;2015年

5 刘学建;数据挖掘在电子商务推荐系统中的应用研究[D];昆明理工大学;2015年

6 戴阳阳;基于数据挖掘的金融时间序列预测研究与应用[D];江南大学;2015年

7 石思优;基于主题模型的医疗数据挖掘研究[D];广东技术师范学院;2015年

8 陈丹;移动互联网信令挖掘实现智慧营销的设计与实现应用研究[D];华南理工大学;2015年

9 陈思;基于数据挖掘的大学生客户识别模型的研究[D];昆明理工大学;2015年

10 位长帅;基于客户数据挖掘的电信客户关系管理研究[D];西南交通大学;2015年

，

本文编号：994741