基于VR情景遮挡人脸图像复原的表情识别

发布时间：2021-12-10 21:12

　　近几年来,虚拟现实（Virtual Reality,VR）技术在智能医疗领域的应用被广泛关注,尤其是抑郁症的诊疗。VR设备通过分析使用者观看刺激材料后的面部表情,获得场景与心理的对应关系,进行抑郁症的诊断,进而在虚拟环境中进行沉浸式引导治疗。传统的视觉表情识别方案无法对被VR设备遮挡的人脸图像进行表情识别,故现有VR设备大多采用肌电传感器采集面部肌肉运动产生的电信号分析表情类别。然而额外的传感器会给佩戴者带来不舒适的体验,并且传感器采样点有限,造成表情识别准确率不高。因此,针对VR智能医疗等对使用者表情信息需求度很高的场景,以及现有VR设备通过肌电信号分析表情类别的不足,本文提出了一种基于人脸复原的表情识别算法,将问题分解为VR情景遮挡人脸图像的复原和复原人脸图像的表情识别两个子问题,以准确识别被VR设备所遮挡的人脸面部表情。本文的研究工作概括如下:1.提出一种VR情景遮挡人脸图像数据集的生成方法,使用多任务级联卷积网络（MTCNN）对VGGFace2人脸数据集进行人脸检测、人脸对齐及裁剪,Dlib机器学习库检测68个人脸特征点并使用仿射变换模拟穿戴VR设备,构建11000组VR设备遮... 

【文章来源】：华南理工大学广东省 211工程院校 985工程院校 教育部直属院校

【文章页数】：72 页

【学位级别】：硕士

【部分图文】：

VR内置摄像头拍摄的眼球图像

图 1-3 佩戴 VR 设备的遮挡人脸图像适合模型训练但却接近真实 VR 情景的遮挡人脸图复原的质量。挡人脸图像复原的质量备对人脸图像的遮挡尺度大，故高质量的人脸复原响表情识别的准确率，且复原图像的人脸身份特征结果。因此，如何对大尺度遮挡的人脸图像进行高征是一个研究重点。脸图像的表情识别统的表情识别方法还是基于深度学习的表情识别方表情，标准数据集的人脸图像和复原人脸图像本身存证模型对标准表情数据集具有高识别率，同时对复别效果是一个研究难点。

第二章 相关知识概述第二章 相关知识概述于 VR 情景遮挡人脸图像复原的表情识别整体架构如图 2-1 所示。首先要的预处理，主要包括：人脸检测，人脸对齐等，模拟穿戴 VR 设备生成 V脸图像数据集；接着对遮挡人脸图像复原模型进行训练及测试；最后对表进行训练，使用复原后的人脸图像进行测试，作为 VR 情景遮挡人脸图像

【参考文献】：
期刊论文
[1]基于变分偏微分方程图像修复技术研究[J]. 徐黎明,吴亚娟,刘航江.  西华师范大学学报(自然科学版). 2016(03)
[2]图像修复的CDD模型新算法[J]. 王军锋,裴艳侠,王涛.  计算机系统应用. 2016(08)
[3]改进优先级的分步匹配图像修复算法[J]. 朱晓临,王传奇,范承凯.  图学学报. 2015(03)
[4]图像修复TV模型的快速算法研究[J]. 孙向荣,刘芳芳.  计算机技术与发展. 2014(11)
[5]采用CDD模型的自适应图像修复算法[J]. 印勇,李丁,胡琳昀.  重庆大学学报. 2013(04)

硕士论文
[1]基于纹理合成的Criminisi图像修复算法[D]. 彭春华.湖北民族学院 2018



本文编号：3533400