复合时空特征的双模态情感识别

发布时间：2019-11-03 12:36

【摘要】：目的针对体积局部二值模式应用到视频帧特征提取上,特征维数大,对光照及噪声鲁棒性差等问题,提出一种新的特征描述算法—时空局部三值模式矩(TSLTPM)。考虑到TSLTPM描述的仅是纹理特征,本文进一步融合3维梯度方向直方图(3DHOG)特征来增强对情感视频的描述。方法首先对情感视频进行预处理获得表情和姿态序列;然后对表情和姿态序列分别提取TSLTPM和3DHOG特征,计算测试序列与已标记的情感训练集特征间的最小欧氏距离,并将其作为独立证据来构造基本概率分配;最后使用D-S证据联合规则得到情感识别结果。结果在FABO数据库上进行实验,表情和姿态单模态分别取得83.06%和94.78%的平均识别率,在表情上分别比VLBP(体积局部二值模式)、LBP-TOP(三正交平面局部二值模式)、TSLTPM、3DHOG高9.27%、12.89%、1.87%、1.13%;在姿态上分别比VLBP、LBP-TOP、TSLTPM、3DHOG高24.61%、27.55%、1.18%、0.98%。将两种模态进行融合以后平均识别率达到96.86%,说明了融合表情和姿态进行情感识别的有效性。结论本文提出的TSLTPM特征将VLBP扩展成时空三值模式,能够有效降低维数,减少光照和噪声对识别的影响,与3DHOG特征形成复合时空特征有效增强了情感视频的分类性能,与典型特征提取算法的对比实验也表明了本文算法的有效性。另外,与其他方法的对比实验也验证了本文融合方法的优越性。

【相似文献】

相关期刊论文 前10条

1 熊勰;刘光远;温万惠;;基于智能算法的生理信号情感识别[J];计算机科学;2011年03期

2 程静;刘光远;;学科交叉视角下的情感识别研究进展[J];计算机科学;2012年05期

3 张金伟;刘晓平;;基于心理预警模型的微博情感识别研究[J];合肥工业大学学报(自然科学版);2013年11期

4 王蓓;王晓兰;;基于表情和语音的多模态情感识别研究[J];信息化研究;2014年01期

5 温万惠;邱玉辉;刘光远;程南璞;黄希庭;;情感生理反应样本库的建立与数据相关性分析[J];中国科学:信息科学;2011年01期

6 温万惠;刘光远;熊勰;;基于生理信号的二分类情感识别系统特征选择模型和泛化性能分析[J];计算机科学;2011年05期

7 刘智;杨宗凯;刘三(女牙);铁璐;;一种基于样本空间动态划分的中文情感识别方法[J];计算机应用研究;2013年05期

8 陈曾;刘光远;;脑电信号在情感识别中的应用[J];计算机工程;2010年09期

9 张颖,罗森林;情感建模与情感识别[J];计算机工程与应用;2003年33期

10 林时来;刘光远;张慧玲;;蚁群算法在呼吸信号情感识别中的应用研究[J];计算机工程与应用;2011年02期

相关会议论文 前9条

1 解迎刚;王志良;程宁;王国江;永井正武;;人脸与眼部检测及其在情感识别中的应用[A];第25届中国控制会议论文集（下册）[C];2006年

2 解迎刚;王志良;杨溢;邵彦娟;;基于改进蚁群算法的多模态情感识别研究[A];2011年中国智能自动化学术会议论文集（第一分册）[C];2011年

3 王志强;熊子东;傅向华;;基于螺旋模型的歌曲情感识别算法研究[A];第七届和谐人机环境联合学术会议（HHME2011)论文集【oral】[C];2011年

4 鲍军荣;李文锋;寿小云;嵇来春;;基于客观化脉搏振动觉的恐惧情感识别研究[A];心理学与创新能力提升——第十六届全国心理学学术会议论文集[C];2013年

5 杨广映;杨善晓;;基于表面肌电信号的情感识别研究[A];第三届中国智能计算大会论文集[C];2009年

6 张伟;谢湘;;基于HMM的音乐情感识别研究[A];第九届全国人机语音通讯学术会议论文集[C];2007年

7 戴明洋;杨大利;徐明星;张永超;陈胜;;面向真实情感识别的训练语音选择研究[A];第十一届全国人机语音通讯学术会议论文集（一）[C];2011年

8 黄力行;辛乐;赵礼悦;陶建华;;自适应权重的双模态情感识别[A];第九届全国人机语音通讯学术会议论文集[C];2007年

9 崔玉路;蒋冬梅;张晓静;谢磊;付中华;Ping Fan;Hichem Sahli;;基于三特征流DBN模型的听视觉情感识别[A];第十一届全国人机语音通讯学术会议论文集（一）[C];2011年

相关重要报纸文章 前2条

1 记者　邰举;韩开发出脑电波情感识别技术[N];科技日报;2007年

2 黄力行邋陶建华;多模态情感识别参透人心[N];计算机世界;2007年

相关博士学位论文 前3条

1 林奕琳;基于语音信号的情感识别研究[D];华南理工大学;2006年

2 朱亚忱;基于特权信息的情感识别[D];中国科学技术大学;2015年

3 张石清;基于语音和人脸的情感识别研究[D];电子科技大学;2012年

相关硕士学位论文 前10条

1 李承程;基于深度学习的文本语音耦合情感识别方法研究[D];合肥工业大学;2015年

2 杨敏;非线性特征用于心电信号的情感识别[D];西南大学;2013年

3 刘俸汝;基于皮肤电情感识别的情感调节策略研究[D];西南大学;2013年

4 荀立晨;基于心电信号的情感识别研究[D];天津理工大学;2013年

5 聂聃;基于脑电的情感识别[D];上海交通大学;2012年

6 马亮军;基于语音的模糊案例推理情感识别算法研究[D];华东理工大学;2013年

7 刘碧英;非线性特征组合用于皮肤电情感识别的研究[D];西南大学;2013年

8 徐亚;基于心电信号的情感识别研究[D];西南大学;2010年

9 王彬;基于呼吸信号的情感识别研究[D];西南大学;2010年

10 周钰婷;皮肤电信号的情感特征提取及分类识别研究[D];西南大学;2012年

，

本文编号：2555082