非结构化车联网大数据存储与处理技术研究与应用
发布时间：2021-08-06 09:14
移动互联网、卫星定位、LBS等技术的迅速发展,推动了车联网行业的进步,但也为其带来了新的挑战。车联网云数据中心与综合服务平台汇聚了关于车辆位置、状态、速度、加速度、路网等非结构化的海量车联网数据,传统的数据分析技术已经无法满足当前规模的车联网数据处理的需求。因此,本文提出引进分布式计算技术和数据存储技术,构建云服务信息化平台,从而实现对车辆进行高效实时监控和调度管理。主要的贡献如下:1、针对传统关系型数据库无法承载海量数据的存储,突破了单表存储的上限,且数据的查询和写入性能呈现指数级别地下降的问题,同时考虑车载终端采集的数据海量、高速、非结构化等特点,本文基于HBase与Redis缓存数据库设计和实现了车联网数据的存储和查询优化系统。具体地,利用非关系型、高性能、可扩展的分布式数据库HBase做存储,内存数据库Redis做数据缓存。此外,为了提高存储,查询效率,节省存储空间,分别从RowKey设计,服务器预分区,Redis缓存策略,集群参数调整等方面进行优化。实验表明,HBase数据写入和查询性能都有所提升,满足了非结构化车联网大数据存储需求。2、针对传统车联网平台在处理海量数据时存在...
【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校
【文章页数】：75 页
【学位级别】：硕士
【部分图文】：
HBaae架构图
大型分布式系统中，有文本、视频流等格式的文件类型，每种类型的数据??体量不同，处理速度也不同。消息队列通过维护一个缓冲层来提高任务的执行??效率，以尽可能快的速度写入队列，通过缓冲可以在一定程度上控制和优化数??据被处理的速度。??６、异步通信??面对海量数据高并发请求，处理模块无法同步及时的处理数据，当数据产??生的速度大于处理（消费）的速度，往往造成数据堵塞，堆积。为了防止数据??的丢失，实现数据的缓冲，对于实时性要求不高的数据，利用消息队列的异步??通信机制，将消息以任意的速度发送到消息队列中，消息的消费者只需在需要??处理的时候从队列中拉取数据即可。２．３．２?Ｋａｆｋａ??Ｋａｆｋａ是一个分布式的、高吞吐量的、多分区、多副本、多订阅者的消息系??统，主要应用场景：日志采集系统、实时分析系统，消息系统等［２４—２５］，其整体??架构如图２．２所示。??Ｐｒｏｄｕｃｅｒ?Ｆｌｕｍｅ?Ｒｅｄｉｓ?Ｒｅｓｏｕｒｃｅ?Ｏｔｈｅｒ?Ｄａｔａ??
ｊ?Ｊ??图３．１存储系统架构图??系统架构如图３．１所示，系统主要由数据存储，查询检索两个组成部分：??数据存储：基于ＨＢａｓｅ高性能，高可靠的数据读写能力，利用缓存区，多??线程技术实现海量车联网数据的持久化存储。采用ＨＢａｓｅ大数据存储框架，在??保证足够的存储空间的前提下，利用ＨＢａｓｅ的分布式特点来提高数据的存取速??度，解决数据的单点存储隐患，保障数据的高可用性。??查询检索：为了实现快速，高效的数据查询检索服务，系统采用Ｒｅｄｉｓ缓存??策略。利用Ｒｅｄｉｓ高性能操作和运算上的优势，为数据展示层提供既方便又快??捷的数据检索。Ｒｅｄｉｓ存储容量与物理内存大小有关，因物理内存有限，不能??１６??
【参考文献】：
期刊论文
[1]SpringBoot集成Redis缓存在电信运营系统中的应用研究[J]. 葛宝龙,邓欣,秦嘉罗. 中国新通信. 2017(23)
[2]基于K-means和DBSCAN的轨迹数据挖掘研究[J]. 张致宁. 中国战略新兴产业. 2017(44)
[3]网络访问日志实时分析系统在Storm平台上的实现[J]. 何雅琴,李涛. 信息化研究. 2016(04)
[4]基于GeoHash算法的周边查询应用研究[J]. 赵雨琪,牟乃夏,祝帅兵,张昌景. 软件导刊. 2016(06)
[5]基于Storm框架结构的分布式实时日志分析系统的设计研究[J]. 赵阳,王春喜. 信息与电脑(理论版). 2016(08)
[6]基于交通轨迹数据挖掘的道路限速信息识别方法[J]. 廖律超,蒋新华,林铭榛,邹复民. 交通运输工程学报. 2015(05)
[7]HiBase:一种基于分层式索引的高效HBase查询技术与系统[J]. 葛微,罗圣美,周文辉,赵頔,唐云,周娟,曲文武,袁春风,黄宜华. 计算机学报. 2016(01)
[8]基于storm云平台的电力信息系统实时监理的研究[J]. 韩福霞,储志高,舒彬,刘宏志,尹璐,丁仁山. 电气应用. 2015(S1)
[9]基于Kafka消息队列的电网设备准实时数据接入方法研究[J]. 王震,陈亮. 山东电力技术. 2015(06)
[10]实时大数据处理技术在状态监测领域中的应用[J]. 周国亮,朱永利,王桂兰,宋亚奇. 电工技术学报. 2014(S1)
硕士论文
[1]基于Kafka的消息队列在射天文数据处理中应用的研究[D]. 王郑合.昆明理工大学 2017
[2]基于Storm的实时日志分析系统的设计与实现[D]. 屈国庆.南京大学 2016
[3]基于实时流数据平台的车联网数据监控系统[D]. 杨乐.电子科技大学 2016
[4]海量数据存储和准实时查询系统设计与实现[D]. 齐方方.西南石油大学 2015
[5]HBase数据库评测关键技术的研究[D]. 王帅.哈尔滨工业大学 2015
[6]大数据环境下的车辆监控公共服务平台研究[D]. 李晓夏.华中科技大学 2015
[7]基于HBase的嵌套式数据存储系统设计与实现[D]. 马浩田.浙江大学 2015
[8]一种基于Storm的分布式实时增量计算框架的研究与实现[D]. 李劲松.电子科技大学 2015
[9]基于Storm的实时计算系统的研究与实现[D]. 戴菲.西安电子科技大学 2014
[10]HBase存储的研究与应用[D]. 冯晓普.北京邮电大学 2014
本文编号：3325500
【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校
【文章页数】：75 页
【学位级别】：硕士
【部分图文】：
HBaae架构图
大型分布式系统中，有文本、视频流等格式的文件类型，每种类型的数据??体量不同，处理速度也不同。消息队列通过维护一个缓冲层来提高任务的执行??效率，以尽可能快的速度写入队列，通过缓冲可以在一定程度上控制和优化数??据被处理的速度。??６、异步通信??面对海量数据高并发请求，处理模块无法同步及时的处理数据，当数据产??生的速度大于处理（消费）的速度，往往造成数据堵塞，堆积。为了防止数据??的丢失，实现数据的缓冲，对于实时性要求不高的数据，利用消息队列的异步??通信机制，将消息以任意的速度发送到消息队列中，消息的消费者只需在需要??处理的时候从队列中拉取数据即可。２．３．２?Ｋａｆｋａ??Ｋａｆｋａ是一个分布式的、高吞吐量的、多分区、多副本、多订阅者的消息系??统，主要应用场景：日志采集系统、实时分析系统，消息系统等［２４—２５］，其整体??架构如图２．２所示。??Ｐｒｏｄｕｃｅｒ?Ｆｌｕｍｅ?Ｒｅｄｉｓ?Ｒｅｓｏｕｒｃｅ?Ｏｔｈｅｒ?Ｄａｔａ??
ｊ?Ｊ??图３．１存储系统架构图??系统架构如图３．１所示，系统主要由数据存储，查询检索两个组成部分：??数据存储：基于ＨＢａｓｅ高性能，高可靠的数据读写能力，利用缓存区，多??线程技术实现海量车联网数据的持久化存储。采用ＨＢａｓｅ大数据存储框架，在??保证足够的存储空间的前提下，利用ＨＢａｓｅ的分布式特点来提高数据的存取速??度，解决数据的单点存储隐患，保障数据的高可用性。??查询检索：为了实现快速，高效的数据查询检索服务，系统采用Ｒｅｄｉｓ缓存??策略。利用Ｒｅｄｉｓ高性能操作和运算上的优势，为数据展示层提供既方便又快??捷的数据检索。Ｒｅｄｉｓ存储容量与物理内存大小有关，因物理内存有限，不能??１６??
【参考文献】：
期刊论文
[1]SpringBoot集成Redis缓存在电信运营系统中的应用研究[J]. 葛宝龙,邓欣,秦嘉罗. 中国新通信. 2017(23)
[2]基于K-means和DBSCAN的轨迹数据挖掘研究[J]. 张致宁. 中国战略新兴产业. 2017(44)
[3]网络访问日志实时分析系统在Storm平台上的实现[J]. 何雅琴,李涛. 信息化研究. 2016(04)
[4]基于GeoHash算法的周边查询应用研究[J]. 赵雨琪,牟乃夏,祝帅兵,张昌景. 软件导刊. 2016(06)
[5]基于Storm框架结构的分布式实时日志分析系统的设计研究[J]. 赵阳,王春喜. 信息与电脑(理论版). 2016(08)
[6]基于交通轨迹数据挖掘的道路限速信息识别方法[J]. 廖律超,蒋新华,林铭榛,邹复民. 交通运输工程学报. 2015(05)
[7]HiBase:一种基于分层式索引的高效HBase查询技术与系统[J]. 葛微,罗圣美,周文辉,赵頔,唐云,周娟,曲文武,袁春风,黄宜华. 计算机学报. 2016(01)
[8]基于storm云平台的电力信息系统实时监理的研究[J]. 韩福霞,储志高,舒彬,刘宏志,尹璐,丁仁山. 电气应用. 2015(S1)
[9]基于Kafka消息队列的电网设备准实时数据接入方法研究[J]. 王震,陈亮. 山东电力技术. 2015(06)
[10]实时大数据处理技术在状态监测领域中的应用[J]. 周国亮,朱永利,王桂兰,宋亚奇. 电工技术学报. 2014(S1)
硕士论文
[1]基于Kafka的消息队列在射天文数据处理中应用的研究[D]. 王郑合.昆明理工大学 2017
[2]基于Storm的实时日志分析系统的设计与实现[D]. 屈国庆.南京大学 2016
[3]基于实时流数据平台的车联网数据监控系统[D]. 杨乐.电子科技大学 2016
[4]海量数据存储和准实时查询系统设计与实现[D]. 齐方方.西南石油大学 2015
[5]HBase数据库评测关键技术的研究[D]. 王帅.哈尔滨工业大学 2015
[6]大数据环境下的车辆监控公共服务平台研究[D]. 李晓夏.华中科技大学 2015
[7]基于HBase的嵌套式数据存储系统设计与实现[D]. 马浩田.浙江大学 2015
[8]一种基于Storm的分布式实时增量计算框架的研究与实现[D]. 李劲松.电子科技大学 2015
[9]基于Storm的实时计算系统的研究与实现[D]. 戴菲.西安电子科技大学 2014
[10]HBase存储的研究与应用[D]. 冯晓普.北京邮电大学 2014
本文编号：3325500
本文链接：https://www.wllwen.com/kejilunwen/jiaotonggongchenglunwen/3325500.html
