基于深度学习的管制员状态检测研究

发布时间：2021-10-23 03:12

　　空中交通管制员疲劳风险管控是中国民航航空安全研究的重要部分。管制员疲劳问题一旦严重,可能直接或间接引起一系列事故征候,甚至引发事故。因此,以客观的方法检测管制员的疲劳和相关行为动作,具有重要的研究意义。目前针对管制员的疲劳检测,状态检测多以主观评价法居多,客观评价法较少。在客观评价方法中,计算机视觉因为其经济性和无干扰性,已被相关研究应用。但目前基于计算机视觉的管制员疲劳状态检测仅限于面部特征信息,本文认为除面部信息外,行为动作也包含诸多的信息要素,对这些信息进行挖掘,有助于分析管制员的疲劳现象和相关状态。因此将本文将动作识别引入空管安全监测领域。目前基于面部信息的管制员疲劳检测在疲劳阈值选定上大多采用车载疲劳的标准,缺少对管制员的个性化评价指标。针对此问题,本文在多名一线管制员身上进行了相关实验,以得到适用于管制员的相关指标变化规律。本文提出的状态检测方法结合多检测算法,通过图像处理,深度学习技术逐步定位人脸,人眼区域,定位人体骨骼关键点。构建了两大模块,眼部状态检测模块和肢体动作检测模块。眼部检测模块选用MTCNN神经网络模型标定管制员人眼区域,再通过卷积神经网络判定眼睛睁闭状态,... 

【文章来源】：中国民用航空飞行学院四川省

【文章页数】：76 页

【学位级别】：硕士

【部分图文】：

姿态估计效果示例

14姿态估计算法主要可以分为2类，自顶向下的方法和做自底向上方法，自顶向下的方法是指首先使用一个人体检测器[53]，在此基础上估计出再估计出每个人的关节，从而进行姿态检测。自底向上的方法是指首先检测出输入图像中的所有关键点，然后将所有关键点链接并分组，找出每个人的关键点。近年来，上诉两种检测方法都取得了较好的成果。OpenPose算法是一种自底向上的方法，OpenPose最开始由卡内基梅隆大学提出，在相关文献中逐渐完善算法[54]OpenPose首先监测出输入图像中的所有人体关节关键点，之后将关节点对应到每一个人。OpenPose模型的架构如图2.2所示，OpenPose网络首先通过一个vgg19卷积神经网络，从图像中提取特征。然后，由2个平行的卷积层来负责接收此特征。第一个分支用来预测18个热度置信图，每一个热力图代表了一个人体关节。第二个分支预测了关节点与人体之间的对应关系，描述某关节点与相近关节点之间的关联程度以判断是否属于同一人，然后将关节点分组到个人。OpenPose的实现过程如图2.3图2.2OpenPose模型网络结构框架图图2.3OpenPose各阶段输出示例图中国民用航空飞行学院硕士学位论文

14姿态估计算法主要可以分为2类，自顶向下的方法和做自底向上方法，自顶向下的方法是指首先使用一个人体检测器[53]，在此基础上估计出再估计出每个人的关节，从而进行姿态检测。自底向上的方法是指首先检测出输入图像中的所有关键点，然后将所有关键点链接并分组，找出每个人的关键点。近年来，上诉两种检测方法都取得了较好的成果。OpenPose算法是一种自底向上的方法，OpenPose最开始由卡内基梅隆大学提出，在相关文献中逐渐完善算法[54]OpenPose首先监测出输入图像中的所有人体关节关键点，之后将关节点对应到每一个人。OpenPose模型的架构如图2.2所示，OpenPose网络首先通过一个vgg19卷积神经网络，从图像中提取特征。然后，由2个平行的卷积层来负责接收此特征。第一个分支用来预测18个热度置信图，每一个热力图代表了一个人体关节。第二个分支预测了关节点与人体之间的对应关系，描述某关节点与相近关节点之间的关联程度以判断是否属于同一人，然后将关节点分组到个人。OpenPose的实现过程如图2.3图2.2OpenPose模型网络结构框架图图2.3OpenPose各阶段输出示例图中国民用航空飞行学院硕士学位论文


本文编号：3452360