基于移动轨迹大数据的乘客出行特征与车辆运行特性分析
发布时间:2021-10-21 00:32
随着全球经济化的飞速发展和城镇化建设的稳步推进,移动轨迹大数据的挖掘分析已成为学术界、工业界和政府部门高度关注的民生问题。本文搭建基于MapReduce并行处理框架的Hadoop分布式计算平台(大数据分析平台),实现移动轨迹大数据(出租车GPS数据)的高效挖掘与深度分析;分析乘客出行特征,实时掌控城市居民出行规律;分析出租车运行特性,动态感知交通状况;进而为城市交通管理与控制提供理论依据和决策参考。本文研究的主要内容及创新性成果如下:1.大数据分析平台搭建和数据预处理。首先,搭建基于MapReduce框架的Hadoop大数据分析平台,实现移动轨迹大数据的分布式存储与并行计算;其次,利用大规模出租车GPS数据实验验证大数据分析平台,为后续工作的测试、挖掘与分析提供保障;最后,分析出租车GPS数据特征,基于大数据分析平台实现出租车GPS数据的智能提取与并行预处理。2.乘客出行时空特征分析。首先,基于大数据分析平台提取乘客出行OD轨迹点,得到乘客出行各时段峰值分布;其次,结合峰值分布对城市整体区域进行中区划分,并根据工作日与休息日两种不同的分布趋势,对乘客出行特征进行分析;最后,利用大数据分...
【文章来源】:贵州民族大学贵州省
【文章页数】:60 页
【学位级别】:硕士
【部分图文】:
出租车GPS数据分布
Slave1 192.168.15.132Slave2 192.168.15.133Slave3 192.168.15.134这四个节点都是 Centos7.0 系统,用户兴趣相同,主机主要配置由 NameNode和 JobTracker 负责执行分布式数据和分解任务。这三台 Salve 机器配置 DataNode和 TaskTracker 的角色,它们负责分布式数据存储和任务执行。实际上,还应该有一台主计算机作为备份,以防止主服务器停机,并立即激活备份。后续经验积累了一定的阶段,并补充了备用的主机器。利用 master 创建 slave1、slave2(i)关闭 master:shutdown-h now。(ii)使用 VMware 虚拟机的克隆功能,便可一键克隆两台虚拟机。(2)验证安装与配置信息验证 jdk 使用命令:java-version,得到如图 2-7 所示。
图 2-8 hadoop 程序图验证 hadoop 集群:在主机电脑上打开浏览器,并分别浏览 hadoop 集群的管理页面,检查hadoop集群是否成功启动。基于Hadoop集群的常规搭建到此完成,即可根据需求分析数据,应用平台运行程序。2.3 数据预处理基于各种因素,由终端返回控制中心的出租车 GPS 数据存在着一定的误差和数据冗余,通过数据分析对无效数据进行剔除,掌握数据有效特征,以提高实验结果的准确性。首先,基于海量出租车 GPS 数据对误差来源进行分析,识别无效数据进行剔除;其次,根据数据误差来源分析,利用已搭建的大数据分析平台进行数据 OD 提取,为后续实验结果准确性提供保障。根据北京市出租车 GPS 数据进行处理、过滤与分析,数据误差来源情况主要分为以下几点:
【参考文献】:
期刊论文
[1]一种出租车载客轨迹空间聚类方法[J]. 杨树亮,毕硕本,Nkunzimana A,黄铜,万蕾. 计算机工程与应用. 2018(14)
[2]基于UTISS的车路网协同系统设计[J]. 刘欣萌. 自动化仪表. 2017(08)
[3]基于出租车GPS轨迹数据挖掘的居民出行特征研究[J]. 林基艳,张雅琼,张慧. 计算机时代. 2017(05)
[4]基于轨迹数据挖掘的居民出行特征研究进展[J]. 卫龙,高红梅. 西部交通科技. 2016(10)
[5]基于时间序列聚类方法分析北京出租车出行量的时空特征[J]. 程静,刘家骏,高勇. 地球信息科学学报. 2016(09)
[6]大数据系统和分析技术综述[J]. 程学旗,靳小龙,王元卓,郭嘉丰,张铁赢,李国杰. 软件学报. 2014(09)
[7]大数据技术及其在信息系统中的应用[J]. 苏圣泳,谭琳. 计算机光盘软件与应用. 2014(02)
博士论文
[1]基于MapReduce的移动轨迹大数据挖掘方法与应用研究[D]. 夏大文.西南大学 2016
硕士论文
[1]基于出租车轨迹数据的居民出行时空特征分析[D]. 徐玉静.山东科技大学 2017
[2]基于出租车GPS数据的用户出行热点挖掘与交通流波动分析[D]. 张竣伟.西南大学 2017
[3]基于吸引子传播算法的室内定位的研究与应用[D]. 邓国川.北京邮电大学 2017
[4]基于海量GPS数据的公共交通站点及路线优化研究[D]. 王武.西南大学 2016
[5]基于Hadoop的并行化算法实现及GPS数据实例分析[D]. 荣卓波.西南大学 2015
[6]基于GPS数据的出租车交通运行特性研究及应用[D]. 齐林.哈尔滨工业大学 2013
本文编号:3447894
【文章来源】:贵州民族大学贵州省
【文章页数】:60 页
【学位级别】:硕士
【部分图文】:
出租车GPS数据分布
Slave1 192.168.15.132Slave2 192.168.15.133Slave3 192.168.15.134这四个节点都是 Centos7.0 系统,用户兴趣相同,主机主要配置由 NameNode和 JobTracker 负责执行分布式数据和分解任务。这三台 Salve 机器配置 DataNode和 TaskTracker 的角色,它们负责分布式数据存储和任务执行。实际上,还应该有一台主计算机作为备份,以防止主服务器停机,并立即激活备份。后续经验积累了一定的阶段,并补充了备用的主机器。利用 master 创建 slave1、slave2(i)关闭 master:shutdown-h now。(ii)使用 VMware 虚拟机的克隆功能,便可一键克隆两台虚拟机。(2)验证安装与配置信息验证 jdk 使用命令:java-version,得到如图 2-7 所示。
图 2-8 hadoop 程序图验证 hadoop 集群:在主机电脑上打开浏览器,并分别浏览 hadoop 集群的管理页面,检查hadoop集群是否成功启动。基于Hadoop集群的常规搭建到此完成,即可根据需求分析数据,应用平台运行程序。2.3 数据预处理基于各种因素,由终端返回控制中心的出租车 GPS 数据存在着一定的误差和数据冗余,通过数据分析对无效数据进行剔除,掌握数据有效特征,以提高实验结果的准确性。首先,基于海量出租车 GPS 数据对误差来源进行分析,识别无效数据进行剔除;其次,根据数据误差来源分析,利用已搭建的大数据分析平台进行数据 OD 提取,为后续实验结果准确性提供保障。根据北京市出租车 GPS 数据进行处理、过滤与分析,数据误差来源情况主要分为以下几点:
【参考文献】:
期刊论文
[1]一种出租车载客轨迹空间聚类方法[J]. 杨树亮,毕硕本,Nkunzimana A,黄铜,万蕾. 计算机工程与应用. 2018(14)
[2]基于UTISS的车路网协同系统设计[J]. 刘欣萌. 自动化仪表. 2017(08)
[3]基于出租车GPS轨迹数据挖掘的居民出行特征研究[J]. 林基艳,张雅琼,张慧. 计算机时代. 2017(05)
[4]基于轨迹数据挖掘的居民出行特征研究进展[J]. 卫龙,高红梅. 西部交通科技. 2016(10)
[5]基于时间序列聚类方法分析北京出租车出行量的时空特征[J]. 程静,刘家骏,高勇. 地球信息科学学报. 2016(09)
[6]大数据系统和分析技术综述[J]. 程学旗,靳小龙,王元卓,郭嘉丰,张铁赢,李国杰. 软件学报. 2014(09)
[7]大数据技术及其在信息系统中的应用[J]. 苏圣泳,谭琳. 计算机光盘软件与应用. 2014(02)
博士论文
[1]基于MapReduce的移动轨迹大数据挖掘方法与应用研究[D]. 夏大文.西南大学 2016
硕士论文
[1]基于出租车轨迹数据的居民出行时空特征分析[D]. 徐玉静.山东科技大学 2017
[2]基于出租车GPS数据的用户出行热点挖掘与交通流波动分析[D]. 张竣伟.西南大学 2017
[3]基于吸引子传播算法的室内定位的研究与应用[D]. 邓国川.北京邮电大学 2017
[4]基于海量GPS数据的公共交通站点及路线优化研究[D]. 王武.西南大学 2016
[5]基于Hadoop的并行化算法实现及GPS数据实例分析[D]. 荣卓波.西南大学 2015
[6]基于GPS数据的出租车交通运行特性研究及应用[D]. 齐林.哈尔滨工业大学 2013
本文编号:3447894
本文链接:https://www.wllwen.com/kejilunwen/daoluqiaoliang/3447894.html