实时视线跟踪系统的研究与实现

发布时间：2020-07-19 05:12

【摘要】：随着人类对眼睛和注视运动的深入研究,借助日益先进的计算机技术和人工智能技术,视线跟踪技术得以稳步发展,且已经被成功运用到诸多领域。然而视线跟踪技术仍存在许多问题:苛刻的交互方式导致用户体验差,跟踪的实时性、鲁棒性和精度仍不能满足实际应用场景。本文调研和分析了现有视线跟踪系统存在的挑战因素,选用瞳孔角膜反射法和基于3D眼球模型的方法实现桌面式视线跟踪系统。为了提高系统的性能,本文研究并实现了瞳孔定位算法、光斑检测算法和瞳孔检测算法。瞳孔定位算法将传统算法和深度学习结合,利用瞳孔区域的灰度特性做图像的初步处理,并记录候选区域,通过分类器识别瞳孔区域;光斑检测算法利用图像处理算法做瞳孔区域的阈值分割,并结合光源发射器的位置特性求解光斑中心;瞳孔检测算法先采用Inpainting算法排除光斑等因素的干扰,然后利用形态学算子和椭圆拟合等技术求解瞳孔中心。采用基于目标检测的方法进行瞳孔定位和基于暗瞳的方法进行瞳孔检测,能够实现高精度、高鲁棒性的实时视线跟踪。本文建立了实验数据集,收集了18个测试人员的图像数据,光照变化、头部姿势、运动模糊等实际情况,通过标注每帧图像的瞳孔中心和光斑中心验证了注视特征检测过程中三个算法的性能。结果表明,瞳孔定位算法的精度为97.89%(分类器的精度为99.94%),光斑检测算法的精度为98.7%,瞳孔检测算法的精度为98.94%。本文实现了实时的视线跟踪系统,并给出了系统的硬件架构和软件架构。系统的硬件主要完成数据采集工作,由红外光源发射器、CMOS图像传感器、FPGA数据处理板和USB3.0传输板组成。另外,基于QT框架和Opencv算法库实现了软件模块(包含算法模块),完成界面交互和算法处理,实现跨平台开发,具有可移植性。本系统由四个连续的过程组成:1)硬件设备采集图像数据。传感器捕获暗瞳图像后,利用FPGA做数据处理,通过USB3.0传输给软件模块。2)注视特征检测过程对图像数据进行处理,求解瞳孔中心和光斑中心。3)视线估计求解光轴向量。用Matlab软件内置的标定算法进行相机标定,求解相机的内外参数。采用单相机双光源的系统原理求解光轴向量的两个参数:角膜曲率中心C和瞳孔中心P。4)偏差校准求解注视点坐标。光轴向量和视轴向量存在一定的偏差角,本文研究了基于四点标定算法的注视点均值法和精度误差法,准确的求解注视点坐标。通过真实的测试环境评估了系统的整体性能。系统的帧率为54fps,精度为0.67~o,并且抗干扰能力强,鲁棒性好,可在实际的应用场景中发挥作用。
【学位授予单位】：西安电子科技大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;TP212
【图文】：

极之间的电势差保持不变。反之可以通过电势变化判定眼球运动状况。该方法具有高度侵入性，用户体验极差，且误差较大。图1.1 眼电图法示意图接触镜法[3][4]：如图 1.2 所示，使用高频电磁场，要求观察者在巩膜表面佩戴连接到设备的“隐形眼镜”来判定眼球的运动状况，尽管其精度高，但高侵入性和未解决的安全问题使得该方法未被广泛应用。图1.2 接触镜法示意图普尔钦像法[5]：由于眼球和空气中的介质不同，光线照射在角膜表面会发生反射现象和折射现象。同理，由于眼球内部存在众多组织，每个组织的内部和外部介质各异，均会发生反射现象和折射现象。如图 1.3 所示，给出了普尔钦像的原理图，通常情况下，分别记录四个普尔钦像：角膜外表面和角膜内?

接到设备的“隐形眼镜”来判定眼球的运动状况，尽管其精度高，但高侵入性和未解决的安全问题使得该方法未被广泛应用。图1.2 接触镜法示意图普尔钦像法[5]：由于眼球和空气中的介质不同，光线照射在角膜表面会发生反射现象和折射现象。同理，由于眼球内部存在众多组织，每个组织的内部和外部介质各异，均会发生反射现象和折射现象。如图 1.3 所示，给出了普尔钦像的原理图，通常情况下，分别记录四个普尔钦像：角膜外表面和角膜内表面反射所成像、晶状体外表面和内表面反射所成像。根据角膜外表面（第一普尔钦像）和晶状体内表面（第四普

3尔钦像）反射所成像的位移矢量来进行眼动分析，求解观察者的注视点。图1.3 普尔钦像法示意图瞳孔角膜反射法[6]：如图 1.4 所示，给出了该方法的原理示意图。利用反射原理，在特定设备上使用红外光源发射器，当有红外光线射入人眼时，人眼的角膜表面会形成反射光斑。因特定设备位置固定，人眼未发生相对运动时，红外光线反射到角膜表面的光斑位置相对不变。反之反射光斑的位置会随着人眼的运动产生偏移，从而判定眼球的运动状况。目前视线跟踪系统主要是基于瞳孔角膜反射法来实现的，其使用一个或多个红外光源发射器确定注视点。红外光源发射器个数的增加使得参量随之增多，有利于注视点的求解。但较多的红外光源发射器会增大硬件设备的复杂性。最初的瞳孔反射法要求特定设备与观察者头部的相对位置不变，条件过于苛刻，不利用实际应用。基于 3D 的视线跟踪技术突破了头部位置不能变化的局限

【相似文献】

相关期刊论文 前10条

1 戴艳玲;尤文泽;;美国提出建立全国犯罪团伙跟踪系统[J];犯罪与改造研究;1991年04期

2 吕丹;姚一波;白荣丽;;一种新型双轴跟踪系统的研究及应用[J];太阳能;2017年04期

3 彭鹏;;探视跟踪系统在新生儿重症监护病房的应用[J];继续医学教育;2011年09期

4 欧阳咸泰;时域和频域设计模型跟踪系统的等价性[J];武汉化工学院学报;1998年02期

5 郑耀林;;重力仪平台中间跟踪系统的设计[J];华侨大学学报(自然科学版);1987年03期

6 叶家福,许仲仁;红外调频跟踪系统的调制与扫描[J];舰船科学技术;1988年04期

7 彭永华,吴俊杰;采用自适应滤波技术的机载雷达跟踪系统[J];航空学报;1988年04期

8 王磊,孔祥利,阳含和;人炮跟踪系统动态特性分析及补偿[J];信息与控制;1988年02期

9 郜宪林,张勇传;前馈加反馈补偿的分散鲁棒跟踪系统研究[J];华中理工大学学报;1989年02期

10 周清泉 ,杨国胜;跟踪系统的配点综合法的改进研究[J];河南大学学报(自然科学版);1989年04期

相关会议论文 前10条

1 赵姝颍;;社区健康体测跟踪系统[A];中国科普理论与实践探索——第二十一届全国科普理论研讨会论文集[C];2014年

2 胡湘华;黄双临;刘晓萍;栗靖;孙伟杰;;问题跟踪系统在卫星导航运行管理中的应用探讨[A];第三届中国卫星导航学术年会电子文集——S06北斗/GNSS测试评估技术[C];2012年

3 廖研;;宝钢5m宽厚板轧机材料跟踪系统[A];2006年全国轧钢生产技术会议文集[C];2006年

4 张勇;;基于RFID技术的油漆车身跟踪系统设计及应用[A];2010全国机械装备先进制造技术(广州)高峰论坛论文汇编[C];2010年

5 张勇;;基于RFID技术的油漆车身跟踪系统设计及应用[A];节能减排 绿色制造 智能制造——低碳经济下高技术制造产业与智能制造发展论坛论文集[C];2010年

6 王永明;李兴林;;船舶远程识别与跟踪系统的发展与应用[A];第五届卫星通信新业务新技术学术年会暨卫星通信系统网间互联互通与接口标准研讨会论文集[C];2009年

7 黄建强;陈祥献;汪乐宇;;面向情景自觉计算的人体识别跟踪系统[A];第三次全国会员代表大会暨学术会议论文集[C];2002年

8 蔺凤琴;刘文仲;宋勇;荆丰伟;谢新亮;;日照1580mm热连轧加热炉数据跟踪系统[A];2007中国钢铁年会论文集[C];2007年

9 许宝栋;高彬;孙毅;王国栋;李平忠;;基于CIMS的特钢企业成本跟踪系统设计与实现[A];1996年中国控制会议论文集[C];1996年

10 刘海涛;杨凌s

本文编号：2761963