车内手势控制系统的设计与实现

发布时间：2020-10-08 20:59

　　车内手势控制系统作为一种新的车内人机交互方式,在市场上受到越来越多的关注。在驾驶过程中,使用传统按钮或者触屏来操作中控设备会分散驾驶者的注意力,增加危险系数。而使用手势来控制,驾驶者可以不需要用眼睛看按钮或者触屏,从而获得更自然的人机交互体验。目前已经量产上市的车载手势系统采用了深度摄像头,配有一块专用芯片来计算图像算法。此方案的劣势在于深度摄像头的成本非常高,而且需要再加上一块专用芯片的成本,所以只能应用在百万级别的豪华车型上。主流的中低端市场对手势识别功能同样有强烈的需求。如果可以使用廉价的,不带景深的摄像头,在每辆汽车都有的中控设备上运行算法,那么就可以大大降低方案整体成本。廉价的摄像头比较容易找到,问题是主流市场上不同中控设备的芯片计算能力差别很大,拥有更强计算能力的芯片可以使用更复杂的算法,来取得更丰富的功能和更好的识别结果。而计算能力最弱的设备也需要简单的算法来实现一些基本的功能。所以根据计算能力的不同,需要有不同的算法方案来适配这些设备。本文重点是研究适合这些嵌入式设备的手势识别算法。综合成本和不同芯片平台计算能力的限制,本文选用了一款低成本的红外摄像头。尝试了基于轮廓的算法,机器学习算法和深度学习的算法,找出了最适合CPU平台和GPU平台的算法。第一种尝试是完全基于传统形态学算法的方案。本文扩展了对旋转手势的支持。此方案对计算量要求最小,可以输出基于手掌位置和手指个数的简单手势信息。算法会有背景抑制方面的一些困扰,最终通过调整的红外LED的发射功率取得了相对较好的图像分割效果。针对深度神经网络计算量太大的问题,本文提出了第二种结合LBP检测器和CNN分类网络的手势检测方法,相比之前的一些算法[1]有更好的检测效果。此方法先基于LBP特征训练一个级联分类器,用来提取手的位置,再训练一个小的分类网络来识别手型,用扫描框的方法得到手的位置后,把手的候选框传入分类网络,得到具体的手型信息。由于系统仅需要支持单手操作,所以在得到多个候选框的情况下,本文采用了一些算法来排序候选框的优先级,然后根据优先级的高低来运行分类网络。这样不但加速了整体速度,而且保证每帧图片上分类网络的执行次数可控,保证了实时性能。级联分类器和低分辨率的小型分类网络,相比深度神经网络来说计算量少了很多,在没有GPU加速的系统中,也可以达到实时的处理速度。第三种方法创新应用了最新的实时物体检测网络YOLOv2来同时识别手势的类型和位置。本文试验了不同的参数,在精确度和速度之间作出平衡。在有GPU加速的平台上,这种方法的准确度远远超过了前两种算法,YOLOv2的背景抑制能力很强,很少有误检测的情况发生。这种方法对平台计算能力的要求最高,在计算能力允许的情况下,可以获得最佳的效果。
【学位单位】：上海交通大学
【学位级别】：硕士
【学位年份】：2018
【中图分类】：U463.6;TP391.41
【部分图文】：

例子,样本

车内手势控制系统的设计联分类器的检测方法来实现，此方法效果准确率稍差，但是可以在 CPU 上了与这两种机器学习的算法做比较，本文还实现了基于轮廓计算的检测算显示，在相同的数据集上，机器学习的方法显著优于传统的基于轮廓的检测势的定义传统车内 HMI 操作的几个问题统的车内 HMI 使用按钮、旋钮或者触屏来操作中控界面。在车辆行驶过程线将不可避免地离开行驶路面。例如最常用的音量和空调温度调节，通常到调节按钮的位置，然后才能开始调节。而更复杂的操作引起的注意力滞，例如从列表中选择歌曲等，需要驾驶员拨动旋钮或者在触屏上点击才能目。如果结合设计良好的手势操作，驾驶员就可以完全不需要查看车内的。

传感器安装,位置,摄像头

车内手势控制系统的设计与2 实验环境和性能指标上一章已经描述了需要解决的主要问题。在开始具体研究之前，需要先定义一标准。包括摄像头安装位置,算法验证平台的配置等，并定义一些验证指标。车内的装配位置根据一些客户的需求，把红外摄像头安装在中控屏幕上方。如图 2-1 箭头所这样，驾驶员可以方便地操作设备。摄像头的 FOV（Field of View）覆盖了0cm 的区域，覆盖的区域比较大，驾驶者即使不看设备，也能顺利地进行隔空操

手势,姿势,视觉形态,开始讨论

3 基于 OpenCV 的实现研究的硬件环境。本章开始讨论具体的算法设计和文用 OpenCV 实现了基于传统计算机视觉形态学算法指位置的生成是正面朝向摄像头的。如图 3-1 所示。由于摄像操作姿势。所以算法定义为只接受这个角度的输入。这种方法只能识别手掌的位置和手指的数量。基发。

【相似文献】