三维点与二维图像协同的面部表情识别方法研究

发布时间：2017-11-04 12:37

  本文关键词：三维点与二维图像协同的面部表情识别方法研究

  更多相关文章： 表情识别 纹理特征 3D几何向量 迁移学习

【摘要】：面部表情在人与人之间的交流上有重要的作用,人脸表情相对文字、语音等媒介在表达人的情感、情绪方面具有更加直观、准确的优势。将自然人这种情感交互模式用于如虚拟远程教学、虚拟游戏、疲劳驾驶检测等人机交互领域,有利于提升人机交互的自然性。目前面部表情识别主要采用摄像设备采集的二维图像作为输入,通过二维图像样本训练表情识别模型,从而实现交互环境下基于面部图像的表情认知。但研究证明包括深度信息的三维表情信息在表情理解中也占有重要的地位,因而基于三维信息的表情识别也逐渐成为一种主要方法。为探讨二维图像和三维点坐标信息融合对表情识别的提升作用,本文研究了基于特征融合表情识别效果。然而实际应用环境,存在二维表情图像易获取,而三维表情信息需要特定的采集设备,数据采集相对困难的问题。本文研究改进了深度超限学习机模型,以面部捕捉仪获取的三维表情数据为基础,二维表情图像数据做局部参数修正,利用知识迁移建立了3D和2D信息协同的表情识别模型,将3D面部表情识别模型迁移到了针对2D面部表情数据的识别中。本文主要的研究工作和创新点如下:1.构建了基于面部标记点坐标的3D表情数据集与对应的2D表情图像数据集。由于实验室购置的OptiTrack面部动作捕捉设备可以精确地捕捉特定面部标定点的三维坐标点数据,捕捉到的三维点数据相比二维图像数据能够更加准确地表达面部表情过程中的面部运动信息。本文利用OptiTrack面部捕捉设备构建了基于面部标记点坐标的3D表情数据集,数据集包含27个特定位置标记点的三维坐标点数据。同时,利用高清摄像头采集了相同对象的2D表情数据集。两类数据集中各含有7个被采集对象的6种基本表情,每个表情共有5组数据。2.利用深度超限学习机研究了3D表情与2D表情的融合表情识别。本文通过研究3D几何向量和2D图像纹理特征融合的表情识别方法,证明特征融合的方法能够提高单独种类特征下的表情识别效果。为提取具有良好表征能力的表情特征,本文利用深度随机网络中的深度超限学习机提取3D几何向量与2D表情融合数据的特征,利用提取的特征进行表情识别。实验结果表明,深度超限学习机的多层ELM-AE网络具有很强的特征提取能力并且能提高基于特征融合的表情识别效果。3.提出一种基于改进深度超限学习机的迁移学习模型,研究了基于迁移学习的表情识别。迁移学习模型由深度超限学习机中的多层ELM-AE网络与OS-ELM分类器组合而成。本文利用迁移学习模型将基于三维点表情数据的表情识别模型迁移到基于二维图像的表情识别中,提升了基于二维图像数据的表情识别效果。
【学位授予单位】：北京工业大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP391.41

【相似文献】

中国期刊全文数据库 前10条

1 应自炉;张有为;李景文;;融合人脸局部区域的表情识别[J];信号处理;2009年06期

2 胡明银;孟凡民;;微表情识别的侦查实用性探析[J];江西警察学院学报;2011年03期

3 申寻兵;隋华杰;许坤金;;微表情识别能力与在校生人际关系相关性研究[J];科技视界;2013年28期

4 武宇文,刘宏,查红彬;基于特征分组加权聚类的表情识别[J];计算机辅助设计与图形学学报;2005年11期

5 何良华,邹采荣,包永强,赵力;人脸面部表情识别的研究进展[J];电路与系统学报;2005年01期

6 杨国亮;王志良;王国江;;面部表情识别研究进展[J];自动化技术与应用;2006年04期

7 王功孝;;面部表情识别研究综述[J];黑龙江科技信息;2007年24期

8 韩t}t};王益文;洪慧;徐艳娇;;面孔呈现顺序对局部表情识别的影响[J];山东师范大学学报(自然科学版);2008年02期

9 宁凡;厉星星;;基于人脸几何结构的表情识别[J];计算机应用与软件;2009年06期

10 方婷;葛万成;;基于人脸非对称性的表情识别[J];信息技术;2009年11期

中国重要会议论文全文数据库 前10条

1 沈卓卿;俞国良;;情绪表达者的文化差异对表情识别的影响[A];第十二届全国心理学学术大会论文摘要集[C];2009年

2 章吉;陈英和;;儿童混合表情识别的发展及与基本表情识别的关系[A];增强心理学服务社会的意识和功能——中国心理学会成立90周年纪念大会暨第十四届全国心理学学术会议论文摘要集[C];2011年

3 刘芳;王志良;徐银梅;陈锋军;郭群;;应用于表情识别的黑斑特征算法的设计与实现[A];第一届中国情感计算及智能交互学术会议论文集[C];2003年

4 史光远;崔丽霞;;性别和羞怯水平对大学生面部表情识别的影响[A];第十五届全国心理学学术会议论文摘要集[C];2012年

5 曹宇嘉;郑文明;赵力;邹采荣;;基于差值模板特征的表情识别方法[A];第十二届全国图象图形学学术会议论文集[C];2005年

6 李睿凡;朱强生;郭燕慧;刘海涛;;鲁棒局部保持投影的表情识别[A];2006年首届ICT大会信息、知识、智能及其转换理论第一次高峰论坛会议论文集[C];2006年

7 韩t}t};王益文;;面孔呈现顺序对局部表情识别的影响[A];第十一届全国心理学学术会议论文摘要集[C];2007年

8 欧阳琰;桑农;;基于面部动作单元组合特征的表情识别[A];第十五届全国图象图形学学术会议论文集[C];2010年

9 罗峥;魏锦;陈凡;尹天骄;;自闭、智障与正常儿童面部表情识别的差异[A];增强心理学服务社会的意识和功能——中国心理学会成立90周年纪念大会暨第十四届全国心理学学术会议论文摘要集[C];2011年

10 张明;傅小兰;;微表情识别的背景效价效应[A];心理学与创新能力提升——第十六届全国心理学学术会议论文集[C];2013年

中国博士学位论文全文数据库 前10条

1 王丽;智能服务机器人表情识别技术研究[D];哈尔滨工业大学;2015年

2 杨勇;基于粗糙集理论的表情识别研究[D];西南交通大学;2009年

3 李远征;人体目标跟踪和表情识别中的若干问题研究[D];西安电子科技大学;2013年

4 阮锦新;多姿态人脸检测与表情识别关键技术研究[D];华南理工大学;2010年

5 欧阳琰;面部表情识别方法的研究[D];华中科技大学;2013年

6 朱明旱;基于流形学习的人脸表情识别研究[D];中南大学;2009年

7 刘帅师;非均匀光照和局部遮挡情况下的鲁棒表情识别理论与方法研究[D];吉林大学;2012年

8 张铮;基于二维MB-LGBP特征的表情识别及其光照检测研究[D];天津大学;2010年

9 付晓峰;基于二元模式的人脸识别与表情识别研究[D];浙江大学;2008年

10 洪涛;船体建造CAD/CAM系统数据库技术及面部表情识别技术的若干研究[D];浙江大学;2003年

中国硕士学位论文全文数据库 前10条

1 贺春荣;情绪情境与训练因素对微表情识别能力影响的研究[D];山西医科大学;2012年

2 窦晓娟;大学生自卑特质对面部表情识别的影响研究[D];河北师范大学;2015年

3 黄世伟;双相躁狂患者面部表情识别的研究[D];安徽医科大学;2015年

4 陈心韵;抑郁倾向、抑郁症患者与正常人生态化微表情识别差异及评估指标初探[D];苏州大学;2015年

5 张海婷;基于深度神经网络的人体动作及自发表情识别[D];山东大学;2015年

6 武冠群;基于情感模型的表情识别及应用研究[D];哈尔滨工业大学;2015年

7 路立;生态化微表情识别测量的编制及微表情识别差异研究[D];苏州大学;2015年

8 王晶晶;面部反馈对表情识别的作用及其影响因素[D];浙江师范大学;2015年

9 王剑云;基于深度神经网络的表情识别算法[D];西南科技大学;2015年

10 赵晴;微表情识别、亲社会行为与人际交往的关系研究[D];曲阜师范大学;2015年

，

本文编号：1139463