基于深度学习的视频情感识别研究
发布时间：2021-11-06 08:00
作为表达情感的一种方式,表情是比较自然和直接的,它在我们的日常生活中扮演者非常重要的角色,在某些场合中,表情有时比语言更能有效的传达出内心的真实情感。表情的产生是一个动态变化的过程,在单张静态图片中,通常包含的特征信息有限,而在视频序列中呈现的表情,则提供了更加充分的上下文信息,表情产生的机理得到进一步的满足,在研究过程中提供的信息会更加丰富,在计算机方面技术正快速进步,基于图像序列的情感研究得到越来越多的重视。本文的研究重点是视频序列,为了能高效提取视频序列中的时空特征信息,提出了相关算法,论文的具体工作内容如下:（1）提出一种加权双流网络模型。使用传统方法进行提取表情特征时,算法提取的特征通常是设定在固定空间内,鲁棒性能有待进一步提高,随着深度学习的发展和公开数据集的增加,可以很好的解决类似问题。在单流卷积网络中,通常关注的重点是空间特征,忽略了视频序列中存在的上下文信息,而双流网络模拟人体视觉过程,在处理空间信息的同时,对视频中的时序信息也有更好的理解,所以使用双流网络作为模型结构,同时为了更好的获取图像序列中帧与帧之间隐藏的时间信息,在模型中加入LSTM网络结构,双流网络模型中...
【文章来源】：合肥工业大学安徽省 211工程院校 教育部直属院校
【文章页数】：64 页
【学位级别】：硕士
【部分图文】：
MMI库表情类别Fig1.1FacialexpressiondisplayonMMIdatabase
nMMIdatabase（4）CK+（TheExtendedCohn-KanadeDataset）CK+库[26]是使用的比较多的数据集，与MMI一样它也是在实验室环境下制作的。该数据库包含123个主题，视频序列总计593个，每个对象的视频帧序列长度分布在8帧到70帧之间，每个视频序列表情均是从中性演变到表情峰值，CK+数据共包含7种标签，由于CK+并没有明确的进行划分训练集、验证集、测试集，在传统的静态表情处理中，通常的做法是选择表情峰值的一张到五张用来训练，CK+库表情如图1.2所示，在实验过程中，基于与人无关的策略，使用5折或10折交叉验证试验。图1.2CK+库表情类别Fig1.2FacialexpressiondisplayonCK+database
CASIAOulu-CASIA库共有6种表情（惊讶，开心，悲伤，生气，恐惧，厌恶），共包含80个主题对象共2880个表情序列，年龄跨度从23到58岁不等，73.8%的比例是女性，在数据集的制作过程中，有三种不一样的光照条件：正常光照条件，弱光照条件，近乎接近于黑暗环境，视频序列是使用近红外或者可见光可成像设备进行拍摄。与前面介绍的CK+库类似，每个图像序列均是由中性到表情峰值，如图1.3所示。整个数据库中，在光照条件正常的状况下获得的仅有480个视频序列，在实验过程中，开始的第一帧和最后三帧经常用来进行10折交叉验证。图1.3Oulu-CASIA库表情类别Fig1.3FacialexpressiondisplayonOulu-CASIAdatabase（6）RAF-DB（Real-worldAffectiveFaceDatabase）RAF-DB数据库，是现实世界中的表情数据库，它包含29672张图片，这些图片是从互联网上下载的，通过人工检测和标注，整个数据库被分为七种表情和是十一种复合情感标签，所有表情均是遵从Ekman提出的FACS结构，整个数据集包含青年和孩子，所有的图片均在在相同的技术操作和外界其他因素。在试验中，一般会用15339张图片，这些图片一般分为两个部分，一个是12271张的训练集，另一个是3068张的测试集合。（7）AffectNet到目前为止，AffectNet是最大的自然环境下数据库，它是丹佛大学通过Google、Bing和Yahoo三种搜索引擎，使用不同的情感标签获得的。经过表情图像预处理之后，图片数量超过一百万张，其中有四十四万张图片被标记为7种基本表情，还有连续维度下的arousal和valence数值，可以看出该数据库可以同时用来研究两种类型。数据集各个主题年龄跨度较大，平均年龄33.01岁，与MMI数据库类似，AffectNet数据集中约有50%的人唇部也眼睛部位进行了化妆，大约有10%的人戴有眼镜，其中的样本分布比
【参考文献】：
期刊论文
[1]构建并行卷积神经网络的表情识别算法[J]. 徐琳琳,张树美,赵俊莉. 中国图象图形学报. 2019(02)
[2]结合滑动窗口动态时间规整和CNN的视频人脸表情识别[J]. 胡敏,张柯柯,王晓华,任福继. 中国图象图形学报. 2018(08)
[3]基于改进Sobel算子的红外图像边缘提取算法[J]. 夏清,张振鑫,王婷婷,王亚云,石娟娟. 激光与红外. 2013(10)
[4]驾驶员眼部状态识别方法的研究[J]. 郭克友,储江伟,王荣本. 系统工程与电子技术. 2003(10)
本文编号：3479486
【文章来源】：合肥工业大学安徽省 211工程院校 教育部直属院校
【文章页数】：64 页
【学位级别】：硕士
【部分图文】：
MMI库表情类别Fig1.1FacialexpressiondisplayonMMIdatabase
nMMIdatabase（4）CK+（TheExtendedCohn-KanadeDataset）CK+库[26]是使用的比较多的数据集，与MMI一样它也是在实验室环境下制作的。该数据库包含123个主题，视频序列总计593个，每个对象的视频帧序列长度分布在8帧到70帧之间，每个视频序列表情均是从中性演变到表情峰值，CK+数据共包含7种标签，由于CK+并没有明确的进行划分训练集、验证集、测试集，在传统的静态表情处理中，通常的做法是选择表情峰值的一张到五张用来训练，CK+库表情如图1.2所示，在实验过程中，基于与人无关的策略，使用5折或10折交叉验证试验。图1.2CK+库表情类别Fig1.2FacialexpressiondisplayonCK+database
CASIAOulu-CASIA库共有6种表情（惊讶，开心，悲伤，生气，恐惧，厌恶），共包含80个主题对象共2880个表情序列，年龄跨度从23到58岁不等，73.8%的比例是女性，在数据集的制作过程中，有三种不一样的光照条件：正常光照条件，弱光照条件，近乎接近于黑暗环境，视频序列是使用近红外或者可见光可成像设备进行拍摄。与前面介绍的CK+库类似，每个图像序列均是由中性到表情峰值，如图1.3所示。整个数据库中，在光照条件正常的状况下获得的仅有480个视频序列，在实验过程中，开始的第一帧和最后三帧经常用来进行10折交叉验证。图1.3Oulu-CASIA库表情类别Fig1.3FacialexpressiondisplayonOulu-CASIAdatabase（6）RAF-DB（Real-worldAffectiveFaceDatabase）RAF-DB数据库，是现实世界中的表情数据库，它包含29672张图片，这些图片是从互联网上下载的，通过人工检测和标注，整个数据库被分为七种表情和是十一种复合情感标签，所有表情均是遵从Ekman提出的FACS结构，整个数据集包含青年和孩子，所有的图片均在在相同的技术操作和外界其他因素。在试验中，一般会用15339张图片，这些图片一般分为两个部分，一个是12271张的训练集，另一个是3068张的测试集合。（7）AffectNet到目前为止，AffectNet是最大的自然环境下数据库，它是丹佛大学通过Google、Bing和Yahoo三种搜索引擎，使用不同的情感标签获得的。经过表情图像预处理之后，图片数量超过一百万张，其中有四十四万张图片被标记为7种基本表情，还有连续维度下的arousal和valence数值，可以看出该数据库可以同时用来研究两种类型。数据集各个主题年龄跨度较大，平均年龄33.01岁，与MMI数据库类似，AffectNet数据集中约有50%的人唇部也眼睛部位进行了化妆，大约有10%的人戴有眼镜，其中的样本分布比
【参考文献】：
期刊论文
[1]构建并行卷积神经网络的表情识别算法[J]. 徐琳琳,张树美,赵俊莉. 中国图象图形学报. 2019(02)
[2]结合滑动窗口动态时间规整和CNN的视频人脸表情识别[J]. 胡敏,张柯柯,王晓华,任福继. 中国图象图形学报. 2018(08)
[3]基于改进Sobel算子的红外图像边缘提取算法[J]. 夏清,张振鑫,王婷婷,王亚云,石娟娟. 激光与红外. 2013(10)
[4]驾驶员眼部状态识别方法的研究[J]. 郭克友,储江伟,王荣本. 系统工程与电子技术. 2003(10)
本文编号：3479486
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3479486.html
最近更新
教材专著
