基于Hive的海量公交客流起讫点挖掘方法
发布时间:2023-02-19 15:03
目前起讫点(origin-destination,OD)挖掘方法普遍存在无法并行分析多条线路、低效率、预测率不足的问题。考虑到Hive在海量数据上的查询性能优势,基于Hive实现了OD挖掘,克服了上述问题。基于时间阈值匹配上车站点,失配记录基于站点上客数再次匹配。基于表连接的出行链算法预测下车站点,预测失败的记录基于概率进行两次预测。以石家庄2018年1月1日—2018年3月27日的IC卡刷卡数据和调度数据进行OD挖掘,在清洗后的11 312 505条出行记录中挖掘出11 270 037条OD记录,预测率达到99.6%,出行与吸引校验质量较高,Hive并行调优开启后耗时17 829.04 s。可见该方法满足生产环境中离线挖掘OD的业务需求。
【文章页数】:10 页
【文章目录】:
1 相关研究
2 数据源
3 上车站点匹配
3.1 基于时间阈值的上车站点匹配
3.2 基于站点上客数的上车站点匹配
4 下车站点预测
4.1 出行链算法
4.2 基于表连接的出行链算法
4.2.1 构造出行规律
4.2.2 计算距离关系表
4.2.3 下车站点预测
4.3 基于概率的下车站点预测
5 实验及结果分析
5.1 数据清洗
5.2 基于Hive的OD挖掘
5.2.1 代理键
5.2.2 轮盘赌策略
5.2.3 时间不等关系转换为相等关系
5.2.4 Hive调优
5.3 OD挖掘及结果分析
5.4 与其他方法的比较
6 结论
本文编号:3746441
【文章页数】:10 页
【文章目录】:
1 相关研究
2 数据源
3 上车站点匹配
3.1 基于时间阈值的上车站点匹配
3.2 基于站点上客数的上车站点匹配
4 下车站点预测
4.1 出行链算法
4.2 基于表连接的出行链算法
4.2.1 构造出行规律
4.2.2 计算距离关系表
4.2.3 下车站点预测
4.3 基于概率的下车站点预测
5 实验及结果分析
5.1 数据清洗
5.2 基于Hive的OD挖掘
5.2.1 代理键
5.2.2 轮盘赌策略
5.2.3 时间不等关系转换为相等关系
5.2.4 Hive调优
5.3 OD挖掘及结果分析
5.4 与其他方法的比较
6 结论
本文编号:3746441
本文链接:https://www.wllwen.com/kejilunwen/jiaotonggongchenglunwen/3746441.html