结合人工特征和深度学习的交警指挥手势识别研究

发布时间：2020-10-26 07:12

　　 道路交通控制中当遇到交通堵塞、事故或信号灯故障时需要交警通过手势指挥交通,因此机动车无人驾驶需要能够快速准确地识别交警指挥手势。深度学习可以通过样本学习对输入的高维信息有效地提取共性特征以实现分类,其应用使基于视频的交警指挥手势识别性能大大提高。但深度学习需要大样本数据,训练过程长,现有方法的识别速度和精度还不能满足无人驾驶的实时性和可靠性要求。由先验知识人工提取的明显特征仍然有利用价值,如与人体姿势密切相关的骨架特征、反映运动的视频光流特征等。本文研究了将有价值的人工特征与深度学习相结合,用于交警指挥手势的自动识别,并改进深度网络结构和算法,有效提高了训练速度、识别速度和识别精度。本文的具体研究内容包括:(1)复杂环境中的交警检测以及人工指挥交通情形的判断。针对传统方法人工提取特征需要技巧和经验、识别稳定性差的问题,本文采用基于SSD的交警检测方法和基于平均背景建模及人体高宽比的交通指挥情形判断方法,在采集的部分模拟样本和实际现场采集的样本数据集上进行了实验,检测结果未出现漏检的情况,每帧的平均检测时间为0.0196s,通过数据增强技术可准确定位交警,是后续交警指挥手势视频分段和识别的前提。(2)交警指挥交通手势视频分段。在交警指挥手势视频数据中,往往包含多个连续指挥手势动作,需要将其分段为单个手势动作视频,以便进一步识别为何种手势。本文研究提出一种基于人体高宽比和运动变化率的交警指挥手势连续动作视频快速分段,该方法能快速判断出交警指挥手势的起始帧与终止帧。(3)结合人工特征和深度学习的交警指挥视频的分类识别方法研究,具体是结合由视频提取的骨架、光流信息和视频直接输入深度网络进行交警指挥手势识别。由于浅层的3DCNN已不能很好的表征交警指挥手势,本文采用了基于C3D和ConvLSTM的深度学习算法,以此实现结合人工特征和深度学习的三通道交警指挥手势识别,该方法的优点在于利用了骨架数据可有效避免背景等干扰、光流可捕捉运动信息的特点,而对于差异性的问题则通过深度网络结构和深度学习来解决,最终准确识别交警指挥手势。最后,通过仿真实验表明,本方法能有效提高交警指挥手势的识别精度,在采集的8种交警指挥手势数据集上平均识别率可达97.87%,下一步随着训练样本数量的增加,系统性能会有进一步提高。本方法可推广应用于有明显人工特征、输入信号维数高的应用场合。
【学位单位】：五邑大学
【学位级别】：硕士
【学位年份】：2018
【中图分类】：TP391.41;U495
【部分图文】：

图 2-11 人体高宽数值示意图 图 2-12 获得人体高宽示意图本文提取的人体轮廓的纵横比信息，具有如下优点：首先轮廓的纵横比不同体型的影响，其次在拍摄的过程中不容易受噪声的影响。如图 2-11 是已取分明的人体区域轮廓高宽数值示意图，图 2-12 是获得的人体高宽示意图

图 2-11 人体高宽数值示意图 图 2-12 获得人体高宽示意图本文提取的人体轮廓的纵横比信息，具有如下优点：首先轮廓的纵横比不同体型的影响，其次在拍摄的过程中不容易受噪声的影响。如图 2-11 是已取分明的人体区域轮廓高宽数值示意图，图 2-12 是获得的人体高宽示意图

直行信号高宽比曲线
【参考文献】

相关期刊论文 前5条

1 栾胜利;;基于改进的混合高斯模型的背景建模方法[J];指挥控制与仿真;2014年01期

2 薛丽霞;罗艳丽;王佐成;;基于帧间差分的自适应运动目标检测方法[J];计算机应用研究;2011年04期

3 齐美彬;杨爱丽;蒋建国;李莉;;一种基于改进码本的车辆检测与跟踪方法[J];中国图象图形学报;2011年03期

4 杨会锋;曹洁;帅立国;;基于改进K-均值聚类算法的背景建模方法[J];电子测量与仪器学报;2010年12期

5 莫林;廖鹏;刘勋;;一种基于背景减除与三帧差分的运动目标检测算法[J];微计算机信息;2009年12期

相关硕士学位论文 前5条

1 刘妍;基于视频的多目标运动人体行为识别[D];东华大学;2017年

2 何利平;基于混合高斯模型的智能视频多目标检测算法研究[D];广西师范大学;2014年

3 梁志刚;基于关键帧的核密度估计运动目标检测[D];哈尔滨工程大学;2013年

4 张琳;非参数化背景建模方法研究[D];中国石油大学;2011年

5 李文杰;基于骨架化和模板匹配的交通指挥手势识别[D];浙江工业大学;2011年

本文编号：2856680