基于深度多模态融合的视线追踪技术

发布时间：2021-05-09 12:17

　　视线方向指示了一个人看什么,对什么感兴趣。视线追踪常被用来对人类的意图进行分析,在计算机视觉、计算机图形学、心理学、社会学和人机交互等领域应用广泛。因此,本文针对视线追踪技术的研究不仅具有重要的理论价值,同时也具有广阔的应用前景。首先,本文设计了视线追踪系统的总体方案,并对方案中的人脸检测方法进行分析研究,选定基于多任务级联卷积神经网络（Multi-task20Cascaded20Convolutional20Networks,MTCNN）的人脸检测方法,同时得到五个人脸特征点（左右瞳孔、鼻尖、左右嘴角）,并对检测到的人脸进行尺度缩放操作。然后采用主动表观模型（Active20Appearance20Model,AAM）和比例正交投影迭代变换算法（Pose20from20Orthography20and20Scaling20with20Iterations,POSIT）算法相结合对头部姿态进行估计,在检测到的人脸上采用AAM算法进行特征点定位,接着使用POSIT算法根据人脸图像上的特征点和标准人脸模型对应的三维数据点的关系确定头部姿态,并根据获得的人眼角特征点来定位人眼区域,从而获得人... 

【文章来源】：重庆邮电大学重庆市

【文章页数】：80 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
注释表
第1章 绪论
    1.1 研究背景及意义
    1.2 国内外研究现状
    1.3 视线追踪技术研究难点
    1.4 章节安排
    1.5 本章小结
第2章 视线追踪系统总体方案
    2.1 视线追踪系统总体框架设计
    2.2 人脸检测
        2.2.1 人脸检测方法对比
        2.2.2 基于MTCNN的人脸检测
        2.2.3 MTCNN人脸检测算法实现
    2.3 基于AAM和 POSIT算法的头部姿态估计和人眼区域定位
        2.3.1 基于AAM的人脸特征点定位和人眼区域定位
        2.3.2 POSIT算法
        2.3.3 头部姿态估计实现
    2.4 小结
第3章 基于深度多模态融合的视线追踪
    3.1 深度多模态融合理论
    3.2 CNN
    3.3 迁移学习
    3.4 基于迁移学习的深度多模态融合视线追踪模型
        3.4.1 基于迁移学习的深度多模态融合视线追踪模型的框架设计
        3.4.2 预训练的卷积神经网络
        3.4.3 模型训练算法
    3.5 实验结果及分析
        3.5.1 实验数据集
        3.5.2 评价指标
        3.5.3 实验环境
        3.5.4 实验结果
    3.6 小结
第4章 基于膨胀卷积的深度多模态融合视线追踪
    4.1 感受野
    4.2 基于膨胀卷积的深度多模态融合视线追踪模型
        4.2.1 膨胀卷积
        4.2.2 基于膨胀卷积的深度多模态融合视线追踪模型的框架设计
        4.2.3 模型训练算法
    4.3 实验结果及分析
        4.3.1 自建数据集
        4.3.2 评价指标
        4.3.3 实验结果
    4.4 本章小结
第5章 基于视线追踪的服务机器人控制系统设计
    5.1 基于视线追踪的控制系统
    5.2 系统软件开发与硬件平台的搭建
        5.2.1 系统的硬件结构
        5.2.2 系统的软件配置
    5.3 基于视线追踪的智能服务机器人运动控制实现
    5.4 本章小结
第6章 总结与展望
    6.1 总结
    6.2 展望
参考文献
致谢
攻读硕士学位期间从事的科研工作及取得的成果


【参考文献】：
期刊论文
[1]一种融合改进型AdaBoost和肤色模型的人脸检测方法[J]. 姚子怡,张清勇,李雪琪.  计算机与数字工程. 2018(04)
[2]融合YCbCr肤色模型与改进的Adaboost算法的人脸检测[J]. 崔鹏,燕天天.  哈尔滨理工大学学报. 2018(02)
[3]基于肤色信息和模板匹配的人脸检测与提取[J]. 邵虹,耿昊.  计算机技术与发展. 2016(11)
[4]基于嘴巴状态约束的人脸特征点定位算法[J]. 师亚亭,李卫军,宁欣,董肖莉,张丽萍.  智能系统学报. 2016(05)
[5]基于改进HMM-RVM混合模型的人脸识别方法研究[J]. 杨敏,赖惠成,董九玲.  激光杂志. 2015(11)
[6]基于肤色和Haar方差特征的人脸检测[J]. 李燕,王玲.  计算机工程与科学. 2015(01)



本文编号：3177290