面向无人驾驶的边缘流式大数据处理框架设计与实现
发布时间：2021-02-17 20:04
近年来,无人驾驶技术作为未来城市交通的最佳解决方案受到了大众的瞩目。作为一个复杂的系统,无人驾驶车辆使用了多样的传感器对周围环境进行感知。大量传感器每秒产生海量数据,这些数据能否及时处理事关无人驾驶车辆的可靠性和安全性。流式数据处理技术以其高吞吐量、低延迟的特性成为处理传感器数据的首选方案。然而,传统的基于云计算数据中心部署的流式数据处理平台,不可避免地存在两个问题:一是链路带宽资源有限,难以支持海量数据同时传输,二是传输过程中会产生较大延迟。对于无人驾驶这类延迟敏感型应用来说,传输过程的不稳定性和高延迟是难以接受的。针对上述问题,本文提出了面向无人驾驶的边缘流式大数据处理框架,将计算、存储能力由远端的云计算数据中心转移到近端的边缘数据中心。在充分分析无人驾驶车辆传感器数据流特征和任务处理需求的基础上,基于Spark Streaming实现了这一框架。本文提出了基于模糊控制的系统负载动态平衡机制,实现了对于特定区域内车流量的监控及预测,能够根据车流量变化和系统工作负载调整系统的运行状态,达到在满足吞吐量的要求下尽可能降低端到端延迟,提高了无人驾驶车辆的响应速度。本文提出了差异化的无人驾...
【文章来源】：华南理工大学广东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：96 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第一章 绪论
1.1 论文研究背景
1.2 国内外研究现状
1.2.1 云—边缘协同的流式数据处理框架
1.2.2 云端应用卸载及边缘环境下流式数据处理框架优化
1.2.3 边缘计算环境下流式数据处理研究总结
1.3 论文研究意义
1.4 论文结构安排
1.5 本章小结
第二章 相关技术研究
2.1 无人驾驶
2.2 分布式大数据实时流处理技术
2.2.1 Yahoo!S4
2.2.2 Apache Storm
2.2.3 Apache Kylin
2.2.4 Spark Streaming
2.2.5 现有分布式大数据实时流处理技术对比
2.3 流数据处理优化研究
2.4 边缘计算技术
2.5 本章小结
第三章 面向无人驾驶的边缘流式大数据处理系统
3.1 车载传感器流量特征
3.2 边缘流式大数据处理需求分析
3.2.1 系统负载监控
3.2.2 流量短期预测
3.2.3 处理能力弹性调节
3.2.4 多级别差异化服务
3.3 本章小结
第四章 系统设计
4.1 系统整体设计
4.2 基于灰色模型的车流量监测及预测
4.2.1 概述
4.2.2 车流量提取模块
4.2.3 车流量预测模块
4.3 基于模糊控制的资源动态调节
4.3.1 概述
4.3.2 系统工作负载监控
4.3.3 模糊控制模块
4.3.4 微批次生成
4.4 基于非抢占优先权排队论的Job调度
4.4.1 概述
4.4.2 任务优先级计算
4.4.3 非抢占式优先级调度
4.5 本章小结
第五章 系统实现
5.1 系统整体实现
5.2 基于灰色模型的车流量监测及预测层实现
5.2.1 概述
5.2.2 Traffic Tracker模块实现
5.2.3 Gray Model模块实现
5.3 基于模糊控制的资源动态调节层实现
5.3.1 概述
5.3.2 Stats Tracker模块实现
5.3.3 Dynamic Timer模块实现
5.3.4 Fuzzy Control模块实现
5.4 基于非抢占式优先权排队论的Job调度层实现
5.4.1 概述
5.4.2 Edge Receiver实现
5.4.3 Priority Tracker模块实现
5.5 本章小结
第六章 实验
6.1 实验环境
6.2 基于灰色模型的车流量监测及预测层验证
6.2.1 离线预测验证
6.2.2 在线预测验证
6.3 基于模糊控制的资源动态调节
6.3.1 处理能力调节性能测试
6.3.2 突发流量应对能力测试
6.3.3 处理能力弹性测试
6.4 基于非抢占式优先权排队论的Job调度
6.5 综合实验
6.6 本章小结
结论
参考文献
攻读硕士学位期间取得的研究成果
致谢
附件
【参考文献】：
期刊论文
[1]机场出租车乘车问题的优化模型研究[J]. 姜皓月. 中外企业家. 2020(14)
[2]地铁车站行人排队行为建模与仿真[J]. 杜棋东,许楚群. 计算机时代. 2020(04)
[3]基于排队理论的超市收银系统的分析与改善[J]. 谢富春,彭可乐,王娟,唐谦,卿上乐,王先安. 工业工程. 2020(02)
[4]基于灰色模型对上海市电力需求预测分析研究[J]. 孙金朋. 上海节能. 2020(03)
[5]Spark Streaming中参数与资源协同调整策略[J]. 梁毅,刘飞,常仕禄,程石帆. 软件导刊. 2019(01)
[6]移动边缘计算综述[J]. 李子姝,谢人超,孙礼,黄韬. 电信科学. 2018(01)
[7]城市短期交通流量预测方法的探讨[J]. 刘长虹,陈志恒,黄虎. 现代交通技术. 2006(01)
博士论文
[1]时空流计算模型及其在边缘计算环境下的验证[D]. 郑晔.浙江大学 2017
硕士论文
[1]基于边缘—云环境的数据处理任务放置研究[D]. 黎一泽.南京大学 2019
[2]面向边缘的基于FPGA加速的分布式流处理系统[D]. 胡蝶.华中科技大学 2019
[3]基于LSTM深度网络的城市道路短时交通状态预测模型研究[D]. 陈韫.福建工程学院 2018
[4]基于容器技术的高效能数据处理框架研究[D]. 殷骏.上海交通大学 2018
[5]公路隧道出入口灯光配置优化及其控制系统研究[D]. 王茜.西安建筑科技大学 2014
[6]基于短—长期模型组合的交通流预测方法[D]. 彭栋栋.山东理工大学 2012
[7]城市道路改造对道路交通噪声的影响分析与对策研究[D]. 徐涵.哈尔滨工业大学 2011
本文编号：3038462
【文章来源】：华南理工大学广东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：96 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第一章 绪论
1.1 论文研究背景
1.2 国内外研究现状
1.2.1 云—边缘协同的流式数据处理框架
1.2.2 云端应用卸载及边缘环境下流式数据处理框架优化
1.2.3 边缘计算环境下流式数据处理研究总结
1.3 论文研究意义
1.4 论文结构安排
1.5 本章小结
第二章 相关技术研究
2.1 无人驾驶
2.2 分布式大数据实时流处理技术
2.2.1 Yahoo!S4
2.2.2 Apache Storm
2.2.3 Apache Kylin
2.2.4 Spark Streaming
2.2.5 现有分布式大数据实时流处理技术对比
2.3 流数据处理优化研究
2.4 边缘计算技术
2.5 本章小结
第三章 面向无人驾驶的边缘流式大数据处理系统
3.1 车载传感器流量特征
3.2 边缘流式大数据处理需求分析
3.2.1 系统负载监控
3.2.2 流量短期预测
3.2.3 处理能力弹性调节
3.2.4 多级别差异化服务
3.3 本章小结
第四章 系统设计
4.1 系统整体设计
4.2 基于灰色模型的车流量监测及预测
4.2.1 概述
4.2.2 车流量提取模块
4.2.3 车流量预测模块
4.3 基于模糊控制的资源动态调节
4.3.1 概述
4.3.2 系统工作负载监控
4.3.3 模糊控制模块
4.3.4 微批次生成
4.4 基于非抢占优先权排队论的Job调度
4.4.1 概述
4.4.2 任务优先级计算
4.4.3 非抢占式优先级调度
4.5 本章小结
第五章 系统实现
5.1 系统整体实现
5.2 基于灰色模型的车流量监测及预测层实现
5.2.1 概述
5.2.2 Traffic Tracker模块实现
5.2.3 Gray Model模块实现
5.3 基于模糊控制的资源动态调节层实现
5.3.1 概述
5.3.2 Stats Tracker模块实现
5.3.3 Dynamic Timer模块实现
5.3.4 Fuzzy Control模块实现
5.4 基于非抢占式优先权排队论的Job调度层实现
5.4.1 概述
5.4.2 Edge Receiver实现
5.4.3 Priority Tracker模块实现
5.5 本章小结
第六章 实验
6.1 实验环境
6.2 基于灰色模型的车流量监测及预测层验证
6.2.1 离线预测验证
6.2.2 在线预测验证
6.3 基于模糊控制的资源动态调节
6.3.1 处理能力调节性能测试
6.3.2 突发流量应对能力测试
6.3.3 处理能力弹性测试
6.4 基于非抢占式优先权排队论的Job调度
6.5 综合实验
6.6 本章小结
结论
参考文献
攻读硕士学位期间取得的研究成果
致谢
附件
【参考文献】：
期刊论文
[1]机场出租车乘车问题的优化模型研究[J]. 姜皓月. 中外企业家. 2020(14)
[2]地铁车站行人排队行为建模与仿真[J]. 杜棋东,许楚群. 计算机时代. 2020(04)
[3]基于排队理论的超市收银系统的分析与改善[J]. 谢富春,彭可乐,王娟,唐谦,卿上乐,王先安. 工业工程. 2020(02)
[4]基于灰色模型对上海市电力需求预测分析研究[J]. 孙金朋. 上海节能. 2020(03)
[5]Spark Streaming中参数与资源协同调整策略[J]. 梁毅,刘飞,常仕禄,程石帆. 软件导刊. 2019(01)
[6]移动边缘计算综述[J]. 李子姝,谢人超,孙礼,黄韬. 电信科学. 2018(01)
[7]城市短期交通流量预测方法的探讨[J]. 刘长虹,陈志恒,黄虎. 现代交通技术. 2006(01)
博士论文
[1]时空流计算模型及其在边缘计算环境下的验证[D]. 郑晔.浙江大学 2017
硕士论文
[1]基于边缘—云环境的数据处理任务放置研究[D]. 黎一泽.南京大学 2019
[2]面向边缘的基于FPGA加速的分布式流处理系统[D]. 胡蝶.华中科技大学 2019
[3]基于LSTM深度网络的城市道路短时交通状态预测模型研究[D]. 陈韫.福建工程学院 2018
[4]基于容器技术的高效能数据处理框架研究[D]. 殷骏.上海交通大学 2018
[5]公路隧道出入口灯光配置优化及其控制系统研究[D]. 王茜.西安建筑科技大学 2014
[6]基于短—长期模型组合的交通流预测方法[D]. 彭栋栋.山东理工大学 2012
[7]城市道路改造对道路交通噪声的影响分析与对策研究[D]. 徐涵.哈尔滨工业大学 2011
本文编号：3038462
本文链接：https://www.wllwen.com/kejilunwen/qiche/3038462.html
