基于Zynq的汽车驾驶员疲劳检测系统设计

发布时间：2020-03-29 07:00

【摘要】：随着机动车保有量和驾驶人员数量持续增长,交通安全也面临更严峻的挑战。疲劳驾驶是引发交通事故的主要因素之一,给人类的生命和财产带来巨大的伤害,因此设计一种功耗低、体积小、检测准确率高,实时性好的驾驶员疲劳检测系统具有重要意义和实用价值。本文在认真研究现有的国内外驾驶员疲劳检测技术,并分析比较各种方法特点的基础上,选用基于视觉方法对眼睛和嘴巴疲劳特征参数提取,通过眼睛和嘴巴的开合频率来判断驾驶员的疲劳状态。本文以Xilinx Zynq SOC为核心,采用软硬件协同设计方法,将驾驶员图像采集、眼睛和嘴巴疲劳特征参数提取及驾驶员疲劳状态判断、HDMI高清显示、音频报警集成在一个嵌入式系统中。在ZedBoard开发板上完成系统测试,其搭载的Zynq系列XC7Z020芯片集成了高性能的双核ARM Cortex-A9处理器和Xilinx 7系列FPGA逻辑资源。系统充分利用ARM在控制和搭载操作系统方面的优势,又结合FPGA强大的并行运算能力,实现软硬件协同设计。本文主要工作有:(1)使用Vivado搭建系统硬件工程,包括添加自定义硬件加速IP核、视频图像直接存储器存取(Video Direct Memory Access,VDMA)IP核、视频显示模块、音频报警模块和AXI Interconnect IP并进行IP间的连接及参数配置。(2)使用 Vivado 高层次综合工具(High-Level Synthesis,HLS)设计 Zynq可编程逻辑(Programmable Logic,PL)即FPGA部分的自定义硬件加速IP核,主要包括图像灰度线性变换、Sobel边缘检测、最大类间方差法(Otsu)二值化、形态学闭操作,使用C++编写Adaboost人脸检测算法文本,进行Vivado HLS仿真和硬件工程测试,实现了 Adaboost算法人脸检测硬件IP模块。(3)在Zynq处理器系统(Processing System,PS)即ARM部分实现了包括驾驶员图像采集,肤色特征结合Adaboost算法的人脸检测,卡尔曼结合Mean Shift算法的人脸跟踪,椭圆拟合和积分投影算法的眼睛、嘴巴疲劳特征参数提取,基于PERCLOS原理和嘴巴开合频率的驾驶员疲劳状态判断,VDMA IP核和硬件加速IP核的驱动及Qt界面显示等。在实际驾驶环境下和实验室环境下进行了系统测试,结果表明本系统实现了驾驶员疲劳检测及时发出疲劳预警,具有功耗低、体积小、实时性好、界面友好等特点。
【图文】：

模块图,模块,人脸跟踪,人脸检测

像采集、人脸检测、人脸跟踪、硬件加速ＩＰ核驱动、疲劳特征提取、疲劳判定等，逡逑ＰＬ部分实现算法硬件加速ＩＰ核（灰度线性变换、Ｓｏｂｅｌ边缘检测、Ｏｔｓｕ二值化、逡逑形态学闭操作）、ＨＤＭＩ显示模块、语音报警模块。系统结构框图如图２．１所示。逡逑ＰＳ部分逦ＤＤＲ３控制器逦—－－．外部ＤＤＲ３逡逑逦＾逦１逦Ｉ邋１逦：逡逑－逡逑－摄像卜操逡逑双核Ｃｏｒｔｅｘ？－Ａ９处理器逡逑ＳＤ邋Ｃａｒｄ邋ｐ＝逦＾逦驾驶员疲劳检测程序逡逑逦ｓｚ逦逡逑ＡＸＩ互联接口逡逑＂ＺＺＺＴ邋１Ｔ￣逦＾逦￣逦逦逡逑ＶＤＭＡ＿１逦ＶＤＭＡ＿０逦音频控制逻辑逦ＡＤＡＵ１７６１卩扬声器逡逑ｔ逦逦邋逦逡逑硬件加速ＩＰ核逦ＨＤＭＩ控制逻辑逦ＡＤＶ７５１１逦显示器逡逑Ｉ逦逦逦Ｉ邋逦逦逦逡逑ＰＬ部分逡逑图２．１系统结构框图逡逑Ｆｉｇ．２．１邋Ｔｈｅ邋ｓｔｒｕｃｔｕｒｅ邋ｂｌｏｃｋ邋ｄｉａｇｒａｍ邋ｏｆ邋ｔｈｅ邋ｓｙｓｔｅｍ逡逑该系统分为九大模块：驾驶员图像采集模块、人脸检测模块、人脸跟踪模块、逡逑算法硬件加速模块、特征提取模块、疲劳判定模块、ｉｐ核驱动及界面设计模块、逡逑ＨＤＭＩ显示模块、语音报警模块。各模块具体介绍如下：逡逑（１）驾驶员图像采集模块，ＡＲＭ端打开摄像头实时采集驾驶员图像，该摄逡逑像头型号为罗技Ｃ１７０

架构图,架构,平台,模块

【参考文献】