基于深度特征融合的人脸-语音多模态身份识别研究

发布时间：2020-05-29 08:36

【摘要】：多模态的生物特征识别是指利用两种及以上生物特征,通过综合不同模态特征的信息来进行身份识别,得到比只利用单一生物特征更加准确和稳定的识别结果。而人脸和语音的多模态识别因为其数据的易采集性,识别率高,活体检测功能等优点一直是多模态生物特征识别技术中的研究热点。深度学习的特征提取能力以及端到端的学习模式对于多模态特征融合有很大帮助,因此本文主要研究如何利用深度学习方法对人脸和语音特征进行特征层级的融合识别,主要研究内容概括如下:(1)提出结合多模态卷积和循环神经网络的人脸和语音融合识别模型。首先对如何利用卷积网络对人脸和语音特征进行融合识别进行研究,设计出了4种不同的多模态卷积网络结构,并通过实验对比来确定最佳的网络结构。多模态卷积网络的特征提取能力强,并且在训练过程中特征提取和融合部分能通过学习互相适应,所以能够提取出判别性强的融合特征。接着提出了将多模态卷积网络与循环神经网络结合,将一段时间的视频分帧并利用多模态卷积网络提取出一段时间序列的融合特征并将融合特征放入循环神经网络利用时间序列信息得到更准确的识别结果的方法。并且提出了3种不同的循环神经网络对序列特征进行分类的方法并进行了实验对比。(2)提出基于注意力机制的人脸和语音特征融合识别模型。首先在特征提取阶段利用改进的卷积神经网络残差网络来提取人脸特征,用长短时记忆网络提取语音特征来减少网络参数。在特征融合方面,利用注意力机制来综合处理一个序列中的人脸特征和语音特征,然后利用序列中融合特征的注意力权重来赋予序列中判别性强的特征更高的权重同时减少被噪声污染的特征的权重,使得噪声信息带来的影响进一步降低,提高了模型的判别能力。此外还通过实验来探究不同特征融合方法和网络结构对识别结果的影响,并研究如何将模型应用到实时的以及序列的人脸和语音多模态融合识别中,经过实验验证模型能够适用于实时的以及时间序列的人脸语音多模态身份识别。
【图文】：

XM2VTS数据集示意图

IQIYI数据集示意图
【学位授予单位】：华侨大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TN912.3;TP391.41

【相似文献】

相关期刊论文 前10条

1 宋妩英;董建梅;李炳楠;;多模态与词汇附带习得实证研究综述[J];现代交际;2019年19期

2 李炳楠;董建梅;宋妩英;;概念整合理论下的十四运会多模态隐喻分析[J];现代交际;2019年19期

3 王小英;郑佩芸;;多模态文本在大学英语阅读教学中的应用研究[J];上海第二工业大学学报;2019年03期

4 王妤娜;;小学语文渗透儿童哲学教育的多模态教学模式[J];福建基础教育研究;2019年09期

5 侯旭京;;多模态隐喻浅析土味情话——基于综艺节目《非常完美》男女嘉宾对话[J];海外英语;2019年22期

6 王芳;;网络多模态环境下大学生外语学习焦虑及干预策略[J];海外英语;2019年21期

7 肖芳英;;多模态教学模式在大学英语精读教学中的运用窥探[J];校园英语;2019年49期

8 黄立鹤;张德禄;;多核并行架构:多模态研究的范式、路径及领域问题之辨[J];外语教学;2019年01期

9 赵雨菲;;近五年我国多模态翻译研究综述[J];农家参谋;2019年04期

10 闫雪锋;;多模态话语视域下“翻转课堂”教学模式的改革与探索——以西安职业技术学院公共基础课为例[J];才智;2019年10期

相关会议论文 前10条

1 唐淑华;;文学语篇的语言学研究视角:多模态认知诗学——《多模态、认知和实验文学》评介[A];认知诗学2014年第1辑[C];2014年

2 杜玲莉;王开建;纪再祥;;基于多模态话语理论的大学英语教学改革[A];新教育时代（2015年10月 总第1辑）[C];2015年

3 王琳;;浅析多模态话语分析理论在初中英语写作教学中的应用[A];第二届世纪之星创新教育论坛论文集[C];2015年

4 张霄军;;多模态语料库:抢救濒危语言的有效途径[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年

5 张莹;;大学英语课堂的多模态教学研究[A];“决策论坛——基于公共管理学视角的决策研讨会”论文集（下）[C];2015年

6 夏凡;王宏;;多模态情感数据标注方法与实现[A];第一届建立和谐人机环境联合学术会议（HHME2005）论文集[C];2005年

7 张旭;郭晨;孙建波;;自适应多模态克隆选择算法[A];2007年中国智能自动化会议论文集[C];2007年

8 赵广州;;从多模态话语理论角度来看交际教学法中的角色扮演[A];福建省外国语文学会2010年年会论文集[C];2010年

9 李丹;;多模态理论框架下初中英语课堂中多媒体技术使用的必要性和有效性研究[A];外语教育与翻译发展创新研究（第八卷）[C];2019年

10 霍畅;侯婷婷;;基于大学英语翻转课堂的多模态教学研究[A];外语教育与翻译发展创新研究(第六卷）[C];2017年

相关重要报纸文章 前10条

1 西南交通大学外国语学院 罗载兵;多模态隐喻的语义发生[N];中国社会科学报;2019年

2 苏州大学跨文化研究中心、天津职业技术师范大学非盟研究中心 朱玲;多模态：翻译研究的新视角[N];中国社会科学报;2017年

3 中国工程院院士 邬江兴;多模态智慧网络与内生安全[N];中国信息化周报;2018年

4 浙江万里学院外语部 王中祥;多模态研究：认知语言学的新方法[N];中国社会科学报;2017年

5 记者 戴丽昕;共融机器人多模态转变成为发展趋势[N];上海科技报;2017年

6 西北师范大学外国语学院 吕文澎 兰州商学院陇桥学院外国语言文学系 韩世霞;多模态写作的特征与趋势[N];中国社会科学报;2016年

7 同济大学外国语学院 黄立鹤;多模态语言研究发展前景广阔[N];中国社会科学报;2016年

8 记者 张建列 通讯员 冯春;深圳先进院研制出新一代多模态显微系统[N];广东科技报;2016年

9 本报见习记者 辛雨;成像设施，有“图”有“真相”[N];中国科学报;2019年

10 本报记者 顾鸿儒;人工智能尚未到来 多模态融合成为趋势[N];中国电子报;2019年

相关博士学位论文 前10条

1 赵维;基于多模态影像数据的脑网络研究[D];湖南师范大学;2019年

2 曹俊亮;水下滑翔机多模态运动控制与路径规划研究[D];上海交通大学;2016年

3 胡敏;多模态靶向纳米探针在微小肝癌的诊断及光热治疗的实验研究[D];南方医科大学;2018年

4 刘f迢，

本文编号：2686675