基于Hadoop的城市公共交通大数据时空分析
发布时间：2021-02-11 10:54
城市公共交通大数据蕴含着丰富的时空信息,是进行乘客出行特征分析、城市交通服务能力评价以及公共客流预测的数据基础,是城市公共交通科学管理和规划设计的重要依据。随着城市交通的快速发展,城市管理部门积累了体量超大的交通数据,然而这些数据并不能得到充分利用,因为传统的交通数据分析软件无法对大数据进行加载、处理和分析,所以一般采用从大数据中抽取数据的方法,样本量较小,并且分析结果大多以二维图表为主,数据可视化效果一般。为此,本文以北京市公交车刷卡数据和出租车GPS轨迹数据为研究对象,主要进行了以下几个方面的研究工作:（1）搭建Hadoop分布式计算平台。利用实验室八台电脑搭建微型分布式集群,将30天公交车刷卡数据和7天出租车GPS轨迹数据进行分布式存储,并利用MapReduce编程模型进行数据清洗、预处理和数据挖掘。（2）构建公交车乘客出行链和交通工具客流模型。研究建立基于时空约束的公交车乘客出行链、基于公交站点的公交车客流模型和基于车辆状态的出租车客流模型。基于上述模型完成公交车换乘数据、公交车客流数据、出租车客流数据的提取和计算。（3）城市公共交通大数据时空分析。根据不同种类交通工具的运营特...
【文章来源】：北京建筑大学北京市
【文章页数】：63 页
【学位级别】：硕士
【部分图文】：
WebGIS基本架构
第一章绪论5为本文的总体技术路线。图1-2总体技术路线Fig.1-2Overalltechnicalroute本文的研究内容总结如下：（1）时空大数据的管理通过搭建Hadoop分布式框架构建数据仓库，将公交车乘客的刷卡数据和出租车GPS轨迹数据进行分类并进行数据切片存储，通过数据字典将数据切片中的无效数据记录和无用数据字段进行清洗处理，并将处理结果以切片形式再次存入数据仓库为后续的数据计算做准备，从而达到优化数据结构，提高计算效率的效果。（2）时空大数据挖掘通过将公交车刷卡数据、出租车GPS轨迹数据与公交站点数据、北京市土地利用类型数据等多类数据进行结合，然后构建公交车乘客出行链和交通工具客流模型，并提取热点乘车区域、换乘客流分析、线路运营状况、重大交通枢纽客流分析等核心指标,为全方位、多角度的对城市公共交通大数据进行分析计算打下坚实的基矗（3）不同交通工具差异性分析在分别针对不同种类交通数据时空分析的基础上，从出行时间、出行热点和出行时长三个方面进行不同种类交通工具乘客出行特征的差异性分析，并探讨二者之间的区别和联系，为掌握乘客的出行规律提供有效的数据支撑。
数据节点有多么好的性能，在一定程度上也节省了硬件花费。Hadoop生态体系作为大数据分布式计算的完整解决方案，包含HDFS(分布式文件系统)、MapReduce(分布式离线运算框架)、Tez(DAG运算框架)、HBASE(DAG分布式实时数据库)、Zookeeper(分布式协调器)等组件，并在此基础上产生Hive(数据仓库工具)、Pig(ad-hoc脚本)、Sqoop(数据库ETL工具)等组件，Hadoop生态体系如图2-1所示。Hadoop的核心由HDFS(分布式文件存储系统)和MapReduce编程模型两部分组成，其中，HDFS负责存储静态数据，MapReduce负责将计算逻辑分配到各个数据节点。图2-1Hadoop生态体系Fig.2-1EcosystemofHadoop2.2.2HDFS与MapReduceHDFS提供了一次写入多次读取的机制，数据以数据块的形式同时分布在集群中不同物理机器上，为保护数据的完整性在不同计算机上对同一份文件进行冗余备份，不同数据节点之间通过计算机网络进行数据的转移从而保证数据均匀分布[25]。HDFS中包含三种重要元素NameNode(管理节点)、DataNode(数据节点)和Block(数据块)，具体结构如图2-2所示。一个HDFS通常包含两个NameNode和多个DataNode，一级NameNode
【参考文献】：
期刊论文
[1]基于云计算的城市交通大数据分析平台[J]. 赵明,张健钦,卢剑. 地理空间信息. 2020(02)
[2]基于Google Earth遥感影像的城市建筑物高度反演[J]. 陈冲,杨志勇,史晓亮,尚雨. 测绘通报. 2020(01)
[3]基于出租车轨迹数据的空间关联规则挖掘[J]. 姜晶莉,郭黎. 测绘与空间地理信息. 2019(07)
[4]供热信息服务可视化平台的研制[J]. 赵明,张健钦,申兆慕. 北京测绘. 2019(06)
[5]基于WebGIS的地理信息系统开发应用[J]. 岳军红,王涛,任英桥,王圆圆. 微型电脑应用. 2018(12)
[6]多模态时空数据多层次可视化任务模型[J]. 刘铭崴,朱庆,朱军,冯斌,李赟,张骏骁,付萧,张鹏程,杨卫军,宁新稳,徐婉妍. 测绘学报. 2018(08)
[7]时空大数据面临的挑战与机遇[J]. 王家耀,武芳,郭建忠,成毅,陈科. 测绘科学. 2017(07)
[8]大数据和云计算环境下的Hadoop技术研究[J]. 张子妍. 中国管理信息化. 2017(13)
[9]论时空大数据及其应用[J]. 李德仁,马军,邵振峰. 卫星应用. 2015(09)
[10]大数据系统综述[J]. 李学龙,龚海刚. 中国科学:信息科学. 2015(01)
博士论文
[1]城市公共交通系统可达性评价与优化方法[D]. 江世雄.北京交通大学 2019
[2]城市信息可视化设计研究[D]. 李谦升.上海大学 2017
[3]通勤者出行行为特征与分析方法研究[D]. 陈团生.北京交通大学 2007
[4]地矿三维空间数据模型及相关算法研究[D]. 程朋根.武汉大学 2005
硕士论文
[1]基于出租车GPS数据的城市快速路交通状态识别与预测[D]. 梁迪.吉林大学 2019
[2]基于WebGIS的城市公交大数据可视化研究[D]. 王胜开.北京建筑大学 2018
[3]3D Tiles定义解析与生产规范设计[D]. 曹浩泽.武汉大学 2018
[4]公共空间中的绘画艺术[D]. 牛志超.北京服装学院 2018
[5]基于出租车轨迹数据的居民出行时空特征分析[D]. 徐玉静.山东科技大学 2017
[6]人群聚集热点区域分析与预测[D]. 张文星.宁夏大学 2017
[7]城市居民公交出行数据分析研究及可视化[D]. 邓晨晨.重庆大学 2016
[8]大数据环境下时空多维数据可视化研究[D]. 王瑞松.浙江大学 2016
[9]基于数据的交通拥堵评价与预测方法[D]. 倪升华.浙江工业大学 2014
[10]西安市城市交通拥堵治理及对策研究[D]. 刘琼.长安大学 2014
本文编号：3028994
【文章来源】：北京建筑大学北京市
【文章页数】：63 页
【学位级别】：硕士
【部分图文】：
WebGIS基本架构
第一章绪论5为本文的总体技术路线。图1-2总体技术路线Fig.1-2Overalltechnicalroute本文的研究内容总结如下：（1）时空大数据的管理通过搭建Hadoop分布式框架构建数据仓库，将公交车乘客的刷卡数据和出租车GPS轨迹数据进行分类并进行数据切片存储，通过数据字典将数据切片中的无效数据记录和无用数据字段进行清洗处理，并将处理结果以切片形式再次存入数据仓库为后续的数据计算做准备，从而达到优化数据结构，提高计算效率的效果。（2）时空大数据挖掘通过将公交车刷卡数据、出租车GPS轨迹数据与公交站点数据、北京市土地利用类型数据等多类数据进行结合，然后构建公交车乘客出行链和交通工具客流模型，并提取热点乘车区域、换乘客流分析、线路运营状况、重大交通枢纽客流分析等核心指标,为全方位、多角度的对城市公共交通大数据进行分析计算打下坚实的基矗（3）不同交通工具差异性分析在分别针对不同种类交通数据时空分析的基础上，从出行时间、出行热点和出行时长三个方面进行不同种类交通工具乘客出行特征的差异性分析，并探讨二者之间的区别和联系，为掌握乘客的出行规律提供有效的数据支撑。
数据节点有多么好的性能，在一定程度上也节省了硬件花费。Hadoop生态体系作为大数据分布式计算的完整解决方案，包含HDFS(分布式文件系统)、MapReduce(分布式离线运算框架)、Tez(DAG运算框架)、HBASE(DAG分布式实时数据库)、Zookeeper(分布式协调器)等组件，并在此基础上产生Hive(数据仓库工具)、Pig(ad-hoc脚本)、Sqoop(数据库ETL工具)等组件，Hadoop生态体系如图2-1所示。Hadoop的核心由HDFS(分布式文件存储系统)和MapReduce编程模型两部分组成，其中，HDFS负责存储静态数据，MapReduce负责将计算逻辑分配到各个数据节点。图2-1Hadoop生态体系Fig.2-1EcosystemofHadoop2.2.2HDFS与MapReduceHDFS提供了一次写入多次读取的机制，数据以数据块的形式同时分布在集群中不同物理机器上，为保护数据的完整性在不同计算机上对同一份文件进行冗余备份，不同数据节点之间通过计算机网络进行数据的转移从而保证数据均匀分布[25]。HDFS中包含三种重要元素NameNode(管理节点)、DataNode(数据节点)和Block(数据块)，具体结构如图2-2所示。一个HDFS通常包含两个NameNode和多个DataNode，一级NameNode
【参考文献】：
期刊论文
[1]基于云计算的城市交通大数据分析平台[J]. 赵明,张健钦,卢剑. 地理空间信息. 2020(02)
[2]基于Google Earth遥感影像的城市建筑物高度反演[J]. 陈冲,杨志勇,史晓亮,尚雨. 测绘通报. 2020(01)
[3]基于出租车轨迹数据的空间关联规则挖掘[J]. 姜晶莉,郭黎. 测绘与空间地理信息. 2019(07)
[4]供热信息服务可视化平台的研制[J]. 赵明,张健钦,申兆慕. 北京测绘. 2019(06)
[5]基于WebGIS的地理信息系统开发应用[J]. 岳军红,王涛,任英桥,王圆圆. 微型电脑应用. 2018(12)
[6]多模态时空数据多层次可视化任务模型[J]. 刘铭崴,朱庆,朱军,冯斌,李赟,张骏骁,付萧,张鹏程,杨卫军,宁新稳,徐婉妍. 测绘学报. 2018(08)
[7]时空大数据面临的挑战与机遇[J]. 王家耀,武芳,郭建忠,成毅,陈科. 测绘科学. 2017(07)
[8]大数据和云计算环境下的Hadoop技术研究[J]. 张子妍. 中国管理信息化. 2017(13)
[9]论时空大数据及其应用[J]. 李德仁,马军,邵振峰. 卫星应用. 2015(09)
[10]大数据系统综述[J]. 李学龙,龚海刚. 中国科学:信息科学. 2015(01)
博士论文
[1]城市公共交通系统可达性评价与优化方法[D]. 江世雄.北京交通大学 2019
[2]城市信息可视化设计研究[D]. 李谦升.上海大学 2017
[3]通勤者出行行为特征与分析方法研究[D]. 陈团生.北京交通大学 2007
[4]地矿三维空间数据模型及相关算法研究[D]. 程朋根.武汉大学 2005
硕士论文
[1]基于出租车GPS数据的城市快速路交通状态识别与预测[D]. 梁迪.吉林大学 2019
[2]基于WebGIS的城市公交大数据可视化研究[D]. 王胜开.北京建筑大学 2018
[3]3D Tiles定义解析与生产规范设计[D]. 曹浩泽.武汉大学 2018
[4]公共空间中的绘画艺术[D]. 牛志超.北京服装学院 2018
[5]基于出租车轨迹数据的居民出行时空特征分析[D]. 徐玉静.山东科技大学 2017
[6]人群聚集热点区域分析与预测[D]. 张文星.宁夏大学 2017
[7]城市居民公交出行数据分析研究及可视化[D]. 邓晨晨.重庆大学 2016
[8]大数据环境下时空多维数据可视化研究[D]. 王瑞松.浙江大学 2016
[9]基于数据的交通拥堵评价与预测方法[D]. 倪升华.浙江工业大学 2014
[10]西安市城市交通拥堵治理及对策研究[D]. 刘琼.长安大学 2014
本文编号：3028994
本文链接：https://www.wllwen.com/shoufeilunwen/boshibiyelunwen/3028994.html
