自动驾驶场景库数据系统的设计与实现

发布时间：2021-08-07 23:07

　　近年来,自动驾驶技术飞速发展,但自动驾驶系统目前仍存在较大不稳定性,需要通过海量的驾驶场景库数据来构建虚拟场景,以进行全面严格的测试评价。业内各公司机构受限于数据采集、维护成本较高,缺乏一个提供统一标准数据的自动驾驶数据平台。国汽智能网联汽车研究院为此牵头业内多家公司,设计并实现了自动驾驶场景库数据系统。该系统集成了对采集数据的预处理、存储、标注和统计分析等功能,为相关算法提供训练、测试数据集,为虚拟仿真环境提供测试用例数据。本文主要分析了自动驾驶场景库数据系统的业务需求,阐述了系统数据校验提交、数据标注和数据统计分析三个功能模块的设计和实现。系统基于B/S结构模式,采用前后端分离的开发方式,分层次设计实现。数据校验提交模块负责校验采集数据的格式,对校验通过并提交的采集数据进行预处理,清洗异常值和缺失值,最后将处理后的数据整合存储。该模块基于Spark计算平台执行数据预处理和整合的计算任务,针对不同数据的特性整合FastDFS、ElasticSearch和HBase组件实现数据分布式存储。数据标注模块负责对图像、点云等数据执行目标检测、语义分割等多种标注任务,执行过程采用先算法预标注,... 

【文章来源】：南京大学江苏省 211工程院校 985工程院校 教育部直属院校

【文章页数】：80 页

【学位级别】：硕士

【部分图文】：

图２．１?ＦａｓｔＤＦＳ系统架构图??２．１．２?ＦａｓｔＤＦＳ文件上传??ＦａｓｔＤＦＳ上传文件时，流程如图２．２所示

?／??＼?／??图２．１?ＦａｓｔＤＦＳ系统架构图??２．１．２?ＦａｓｔＤＦＳ文件上传??ＦａｓｔＤＦＳ上传文件时，流程如图２．２所示。客户端首先需要请求跟踪服务器??获取可用的存储服务器ｉｐ地址和ｐｏｒｔ端口号，然后客户端根据返回信息，向存??储服务器发出上传文件请求，存储服务器接收到请求后生成ｆｉｌｅＪｄ，并且将文件??内容写入磁盘，将ｆｉｌｅＪｄ、文件名、路径信息等信息返回给客户端，客户端存储??７??

可以将索引中的数据划分为多个分片。默认情况下，一个索引会创建??五个分片。为了提供系统可用性，每个分片可以配置多个副本分片，当主分片出??现故障，会从副本分片中重新选举主分片。如图２．３所示，该集群有三个节点，??数据划分为三个分片，每个数据分片各有两个副本分片。根据主分片和副本分片??１０??

【参考文献】：
期刊论文
[1]车载终端信息安全测评指标体系研究[J]. 朱科屹,宋娟,叶璐,路鹏飞.  工业技术创新. 2018(06)
[2]基于Spark的飞机试验数据预处理技术研究[J]. 李利荣,孙立伟,杨浩,王晓栋,房红征.  计算机测量与控制. 2018(12)
[3]基于FastDFS的数字媒体系统设计与实现技术研究[J]. 张祥俊,伍卫国.  计算机技术与发展. 2019(05)
[4]国内外智能网联汽车公共道路测试现状和发展趋势研究[J]. 和福建,石娟,秦孔建.  中国汽车. 2018(12)
[5]智能网联汽车路测制度发展现状与影响分析[J]. 左培文,臧金环.  时代汽车. 2018(12)
[6]基于Spark的大数据分析工具Hive的研究[J]. 杨宁,黄婷婷.  计算机时代. 2018(11)
[7]利用Elastic Stack构建集中运维日志分析平台[J]. 张鹏.  电子技术与软件工程. 2018(15)
[8]基于ELK的日志分析系统研究及应用[J]. 姚攀,马玉鹏,徐春香.  计算机工程与设计. 2018(07)
[9]Spark SQL优化器系统Catalyst的深入解析和应用[J]. 邹学利.  决策咨询. 2018(03)
[10]智能网联汽车（ICV）技术的发展现状及趋势[J]. 李克强,戴一凡,李升波,边明远.  汽车安全与节能学报. 2017(01)

博士论文
[1]大数据处理技术与系统研究[D]. 顾荣.南京大学 2016



本文编号：3328713