光学复合仿生视觉关键技术研究

发布时间：2020-06-05 10:42

【摘要】：眼睛是人类感知外界信息最重要的感觉器官,对于机器人系统来说,视觉传感器模拟人眼的功能同样是一种重要的感知设备,其可以使机器人快速感知外界环境信息、并做出正确的决策。目前,在机器人视觉系统的众多研究方法中,模仿生物自适应机制的仿生技术一直备受关注,研究模拟人眼视觉系统多通道视觉信号的采集、传输和处理过程,并将这些研究成果应用到机器人视觉领域中是一项极具现实意义的工作。因此,本论文致力于模拟人眼的多通道传输和处理机制,通过对异源传感器图像信息进行有效地分析和处理,从而解决复杂动态环境下智能机器人的感知、建模重构、目标检测、跟踪与人脸识别等仿生视觉关键技术问题。并在此研究内容基础上,构建智能机器人光学复合仿生视觉系统。论文的主要研究内容如下:(1)鉴于可见光与热红外多通道图像反映的人脸特征信息不同,提出了一种基于Student's-T分布混合模型的多光谱人脸图像配准方法。该方法综合考虑特征点集的空间全局结构和局部形状特征两方面信息来解决多光谱人脸图像配准问题,通过基于内部距离的形状上下文描述子作为特征点集的局部形状特征建立多光谱人脸图像初始匹配关系,采用最大化观测数据的Student's-T概率分布模型后验概率求解多光谱人脸图像的精确匹配关系及空间变换模型。并在已配准的图像上采用基于引导滤波和梯度保持策略进行图像融合,使合成图像包含更多可见光图像表观细节和红外图像热辐射信息,以增强后续人脸识别方法抗干扰能力。最后分别在UTK-IRIS标准多光谱人脸数据库和自己采集的多光谱人脸数据集上进行图像配准测试,综合主观和客观的评价标准进行配准方法对比实验,验证了本文配准方法的鲁棒性和高效性。(2)为了摆脱主动式手眼标定方法对精确靶标的依赖,本文结合单目立体视觉——运动恢复结构算法提出了一种新的被动式手眼标定扩展模型,并分别提出了基于二阶锥规划和光束平差的手眼标定扩展模型优化方法。基于光束平差的优化方法可以同时得到待测目标的三维信息、手眼关系及机器人坐标系与世界坐标系方位关系的最优解。通过大量基于自然场景的仿真和实测实验表明,基于二阶锥规划的优化方法在有无靶标参与两种情况下都可以实现手眼标定任务,摆脱了对靶标的依赖,扩展了手眼标定方法在自然场景中的应用。为了实现基于光束平差的优化方法精确度定量评估,利用高反射率的摄影测量标志点和基准尺构建标定场,通过对比前后两次解算得到相机姿态矩阵以及基准尺测量值和标称值差值结果验证了该方法的准确性和有效性。标定得到相机姿态旋转矩阵相对误差低于5/10000,平移向量的相对误差低于8/10000,三维重建得到1米长基准尺两端标志点的距离测量平均误差接近0.1mm。(3)针对复杂多变动态环境下的行人检测与跟踪问题展开研究和分析,利用可见光和热红外多通道图像反映的目标和场景特征信息的互补性,提出了基于多光谱复合图像的行人检测与跟踪方法。该方法的核心有三点:首先,设计可见光和热红外双视场多光谱图像采集系统,并使用液体变焦透镜自动调焦方法实现可见光图像自动对焦功能。然后,为增强核相关滤波目标跟踪方法在出视野、部分遮挡以及相似目标干扰等复杂情况下的鲁棒性,引入峰值旁瓣比作为检测跟踪失败的自适应判定条件;最后,模仿灵长类动物头眼协调运动机制,建立多光谱复合仿生视觉系统控制策略。实验结果表明相比基于可见光图像或红外图像单通道行人跟踪方法,基于多光谱复合图像的行人跟踪方法成功率分别提高了 22.3%和7.8%,能够在复杂动态场景下实现行人的准确检测和实时跟踪。(4)针对复杂动态环境下的目标检测和跟踪任务需求,研制了两级4自由度仿生视觉眼颈运动云台,构建了智能机器人光学复合仿生视觉系统。并在此视觉系统基础上设计了基于可见光和红外异源传感器人脸图像配准和行人检测跟踪实验,实验结果验证了本文提出的图像配准和行人检测跟踪方法在复杂动态环境下的准确性和有效性。
【图文】：

结构图,眼外肌,结构图,成像光学

会丧失感知绝大多数外界信息的能力［１］。一般来说，依照功能特性人眼视觉系统逡逑主要包括：结构功能、运动功能、视觉功能等，它们之间相互配合促使人眼完成逡逑图像信息的采集、传输和处理工作。如图１－１所示，人眼解剖结构图可以分为三逡逑层：最外层由角膜组成，作为眼睛最前端，其为眼睛贡献了绝大部分屈光能力，逡逑相当于成像光学系统的定焦镜头；中间层由虹膜和晶状体组成，虹膜可以自动调逡逑节瞳孔的大小，进而控制进入眼内光线多少，相当于成像光学系统的光圈；而晶逡逑状体是眼球屈光系统中唯一具有调节能力的屈光介质，其最重要的作用是通过睫逡逑状肌的松弛或收缩改变人眼视觉系统的屈光度，使看远或看近时眼球聚光的焦点逡逑都能准确地落在视网膜上清晰成像，相当于成像光学系统的变焦镜头；最内层是逡逑视网膜，通过感光细胞感光成像，相当于成像光学系统的图像传感器，感光信息逡逑在视网膜上形成视觉神经冲动

“眼睛”,眼外肌,视觉传感器,机器人系统

【相似文献】