基于三维图像信息的飞行员手部行为检测

发布时间：2020-03-25 22:32

【摘要】：随着飞行员操作程序的日益复杂,人为因素正逐渐成为制约航空安全发展的主要因素之一。研究人为因素是提高飞行安全水平的行之有效的手段。飞行员的工作量可视为极其重要的人为因素评价标准。为了分析计算飞行员的工作量,利用图像分析技术从监测视频中提取手部动作信息并判读操作状态,作为计算飞行员的工作量的辅助分析依据。准确实时地检测飞行员动作信息,一方面可以服务于飞机界面优化设计工作,为驾驶舱各种器件的可达简易程度分析等提供参考;另一方面也可以为飞行员操作差错判断提供必要的分析方法,进而可以间接避免由人因失误导致的飞行事故,具有工程应用价值。本论文的研究内容主要包括:1)环境建模。在应用环境中使用两款不同视距的摄像头,包括视距涵盖整个驾驶舱空间的长距摄像头和精细捕捉手部细节的短距摄像头。长距摄像提供标定器件的全局坐标,短距摄像头则获取包括指尖、掌心等细节信息用以检测手部操作状态等细微动作。以长距摄像头坐标系为基准,统一各摄像头的坐标系,并获取驾驶舱空间的全局坐标描述。2)手部行为检测。基于任务需求设计技术流程:图像采集,通道融合,目标前景分割,手部检测,手部跟踪,指尖检测,手势判读,操作识别等。同时在驾驶舱环境下对比了主流的手部跟踪方法的处理效果,为相关研究工作提供借鉴。3)设计手动飞行操作实验,验证飞行员动作检测技术的有效性。对该技术的检测跟踪性能进行系统性指标评估,包括检测精度,跟踪率等;同时搭建实验环境,设置实验场景来验证系统的工程性,并提供Open GL可视化界面复现操作场景,以供用户直观参考。
【图文】：

图 2-3 RGB摄像头棋盘标定Fig.2-3 Chessboard calibration of RGB camera头的标定把红外发射器挡住，同时用外置红外光源照射棋盘图可计算对应外参数。 IR 图像配准度摄像头内参矩阵把深度平面坐标（深度图坐标）转再利用外参数矩阵来计算旋转矩阵和平移矩阵，把深GB 摄像头空间坐标，最后利用 RGB 摄像头内参数矩换至 RGB 平面坐标。实现方式如下：三维向量 ③ ④,其中③ ④是该点的像素坐标，

T 可由R R T T 表达：P P R P R 故有R R T T 已知 RGB 摄像头的内参矩阵H ，得到 ，H P ③ ④即为该点在 RGB 图像中的像素坐标，将该像素的颜色，，写入深度图像中对应像素坐标；按上述操作遍历深度图像中所有像素，得到配准后的深度图。(2-7)(2-8)(2-9)(2-10)(2-11)(2-12)
【学位授予单位】：上海交通大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：V328;TP391.41

【参考文献】

相关期刊论文 前6条

1 范文婕;王命延;杨文姬;;基于深度图像的指尖和掌心特征提取方法[J];计算机应用;2015年06期

2 于燕;杨坤;褚静华;;基于任务分析的飞行机组失误预测研究[J];中国民航大学学报;2014年05期

3 张瑞平;;浅谈民机航电系统设计中的人因考虑[J];科技风;2014年12期

4 黄华;徐幼平;邓志武;;基于Flightgear模拟器的实时可视化飞行仿真系统[J];系统仿真学报;2007年19期

5 苏彬;陈又军;刘渡辉;王大海;;飞行模拟中的飞行动力学仿真平台研究[J];中国民航飞行学院学报;2006年06期

6 曾文宪,陶本藻;三维坐标转换的非线性模型[J];武汉大学学报(信息科学版);2003年05期

相关博士学位论文 前1条

1 王健弘;基于视频的人体动作识别关键技术研究[D];东南大学;2017年

相关硕士学位论文 前4条

1 张惠乔;自然用户界面的直觉化交互行为研究[D];北京邮电大学;2015年

2 戴宗贤;基于双目视觉的三维重建与测量技术研究[D];重庆大学;2014年

3 房瑞雪;基于生理信号的驾驶疲劳预警对策有效性的实验研究[D];北京工业大学;2010年

4 刘雪;基于图像序列的运动目标检测与跟踪算法研究[D];山东大学;2007年

本文编号：2600539