微表情识别的理论和方法研究

发布时间：2017-09-16 01:24

  本文关键词：微表情识别的理论和方法研究

  更多相关文章： 微表情识别 微表情数据库 深度学习 深度置信网络 三维卷积神经网络 微表情检测和识别系统

【摘要】：微表情是一种持续时间非常短暂的表情,它能够表达人们想要隐藏的真实情感。近年来,微表情识别因为其潜在的应用价值而逐渐引起了研究者的关注。目前微表情识别的研究仅处于初始阶段,一是微表情数据库的稀少,二是由于微表情本身的细微行为特点导致大多数特征提取方法不鲁棒。针对这些问题,本文受最近深度学习的巨大成功的启发,探索和研究其在微表情识别中的方法及应用。本文的主要工作总结如下：(1)建立了一个诱发的微表情数据库。微表情数据库是进行微表情识别研究的重要支撑,而目前通过诱发的微表情数据库太稀少。本文搭建了微表情诱发环境,利用摄像机采集了被试观看诱发视频的微表情视频,从中挑选出了微表情帧序列,标注了微表情的标签,建立了微表情数据库,并总结了建库的一些难题。(2)概述了一套完整的微表情识别工作,包括微表情帧序列预处理、微表情检测、微表情特征提取、微表情分类,进行了一系列基准实验。(3)提出了一种基于深度置信网络(Deep Belief Network, DBN)的微表情识别方法。将深度学习与微表情识别研究结合在一起,先对微表情数据进行扩充样本,再提取动态特征输入到深度置信网络中,并在预训练、微调过程中调节参数,最终得到了较好的识别率。(4)提出了一种基于三维卷积神经网络(three dimensional Convolutional Neural Network,3D-CNN)的微表情识别方法。目前,卷积神经网络(CNN)是人们研究模式识别问题最常采用的深度学习网络模型之一。然而,CNN的功能仅仅局限在对于2D输入的处理。本文在CNN的基础上,发展了一种三维卷积神经网络(3D-CNN)的网络结构,用3D-CNN提取微表情动态视频的特征,并对其进行分类。3D-CNN是一种新的深度学习网络,增加了对于时间信息的卷积,因此可以处理各种3D输入,可以应用于视频系列分类任务。(5)开发了一个简单的微表情自动检测和识别系统。该系统分为两个部分：一是微表情自动检测部分,用来检测微表情视频的起始帧、峰值帧、结束帧；二是微表情自动识别部分,用来对微表情视频进行五类情感分类。
【关键词】：微表情识别 微表情数据库 深度学习 深度置信网络 三维卷积神经网络 微表情检测和识别系统
【学位授予单位】：东南大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：B842.6;TP391.41
【目录】：

• 摘要5-6
• Abstract6-10
• 第一章 绪论10-18
• 1.1 微表情问题的提出及界定10-11
• 1.1.1 微表情问题的提出10
• 1.1.2 微表情的界定10-11
• 1.2 微表情的国内外研究进展11-15
• 1.2.1 微表情识别的心理学研究11-12
• 1.2.2 微表情识别的应用研究12-13
• 1.2.3 微表情表达的研究13
• 1.2.4 微表情自动识别的研究13-15
• 1.3 微表情的研究意义15
• 1.4 本文的主要工作15-18
• 1.4.1 本文的主要研究工作15-16
• 1.4.2 本文的组织框架16-18
• 第二章 微表情数据库的建立18-32
• 2.1 引言18
• 2.2 国内外现有的微表情数据库介绍18-22
• 2.3 微表情数据库建库流程22-23
• 2.4 建立微表情数据库的实验准备23-27
• 2.4.1 实验装置及环境的搭建24
• 2.4.2 实验诱发来源的选择24-25
• 2.4.3 实验被试的招募及确定25-27
• 2.5 实验培训及与预实验27
• 2.6 实验正式采集过程27-29
• 2.7 微表情数据库的建立29-30
• 2.8 本章小结30-32
• 第三章 传统的微表情识别方法32-50
• 3.1 引言32
• 3.2 微表情数据预处理32-36
• 3.2.1 人脸配准33-35
• 3.2.3 人脸切割和图像归一化35-36
• 3.3 微表情检测36-40
• 3.3.1 光流法36-37
• 3.3.2 提取运动向量37-38
• 3.3.3 微表情相关信息的检测38-40
• 3.3.4 微表情检测实验结果40
• 3.4 LBP-TOP特征提取40-46
• 3.4.1 LBP描述子40-42
• 3.4.2 LBP-TOP特征42-44
• 3.4.3 微表情LBP-TOP特征提取44-46
• 3.5 实验结果与分析46-48
• 3.6 本章小结48-50
• 第四章 基于DBN的微表情识别50-64
• 4.1 引言50
• 4.2 深度学习50-53
• 4.2.1 深度学习的发展历程50-51
• 4.2.2 深度学习的定义51-53
• 4.2.3 深度学习的分类53
• 4.3 深度置信网络(DBN)53-59
• 4.3.1 受限玻尔兹曼机54-57
• 4.3.2 BP网络57-59
• 4.4 实验59-62
• 4.4.1 实验数据扩样本预处理59-60
• 4.4.2 实验设计60-61
• 4.4.3 实验结果与分析61-62
• 4.5 本章小结62-64
• 第五章 基于3D-CNN特征的微表情识别64-80
• 5.1 引言64
• 5.2 卷积神经网络64-69
• 5.2.1 卷积神经网络的介绍64-65
• 5.2.2 卷积神经网络的结构65-67
• 5.2.3 卷积层67
• 5.2.4 池化层67-68
• 5.2.5 卷积神经网络的激活函数68-69
• 5.3 三维卷积神经网络69-72
• 5.3.1 三维卷积神经网络的概述69
• 5.3.2 3D-CNN的网络结构69-72
• 5.4 实验设计72-76
• 5.4.1 实验数据预处理72-74
• 5.4.2 网络结构设计74-76
• 5.5 实验结果与分析76-79
• 5.6 本章小结79-80
• 第六章 微表情自动检测和识别系统80-84
• 6.1 引言80
• 6.2 系统界面主要功能80-84
• 第七章 总结与展望84-86
• 7.1 本文工作总结84-85
• 7.2 后续研究探讨85-86
• 致谢86-88
• 参考文献88-91

【参考文献】

中国期刊全文数据库 前2条

1 余凯;贾磊;陈雨强;徐伟;;深度学习的昨天、今天和明天[J];计算机研究与发展;2013年09期

2 ;Effects of the duration of expressions on the recognition of microexpressions[J];Journal of Zhejiang University-Science B(Biomedicine & Biotechnology);2012年03期

，

本文编号：860074