基于BLSTM-RNN的语音驱动逼真面部动画合成

发布时间：2018-08-29 16:52

【摘要】：双向长短时记忆(bidirectional lorg short term memory,BLSTM)是一种特殊的递归神经网络(recurrent neural network,RNN),能够有效地对语音的长时上下文进行建模。该文提出一种基于深度BLSTM的语音驱动面部动画合成方法,利用说话人的音视频双模态信息训练BLSTM-RNN神经网络,采用主动外观模型(active appearance model,AAM)对人脸图像进行建模,将AAM模型参数作为网络输出,研究网络结构和不同语音特征输入对动画合成效果的影响。基于LIPS2008标准评测库的实验结果表明:具有BLSTM层的网络效果明显优于前向网络的,基于BLSTM-前向-BLSTM 256节点(BFB256)的三层模型结构的效果最佳,FBank、基频和能量组合可以进一步提升动画合成效果。
[Abstract]:Bidirectional long term memory (bidirectional lorg short term memory,BLSTM) is a special recurrent neural network (recurrent neural network,RNN), which can effectively model the long term context of speech. In this paper, a speech driven facial animation synthesis method based on deep BLSTM is proposed. The BLSTM-RNN neural network is trained by the speaker's audio and video bimodal information, and the active appearance model (active appearance model,AAM) is used to model the face image. The effect of network structure and speech feature input on animation synthesis is studied by using AAM model parameters as network output. The experimental results based on LIPS2008 standard library show that the network with BLSTM layer is better than that with forward network. The three-layer model structure based on BLSTM- forward -BLSTM256 node (BFB256) has the best effect of FBank.The combination of fundamental frequency and energy can further improve the animation synthesis effect.
【作者单位】： 西北工业大学计算机学院陕西省语音与图像处理重点实验室;微软亚洲研究院;
【基金】：国家自然科学基金资助项目(61571363)
【分类号】：TP391.41

【相似文献】

相关期刊论文 前10条

1 金仁贵;;带有偏差单元的递归神经网络在故障诊断方面的应用[J];电脑知识与技术;2006年29期

2 陈钢;王占山;;连续时间递归神经网络的稳定性分析[J];沈阳理工大学学报;2007年02期

3 汪晓梦;;带有偏差单元的递归神经网络在故障诊断方面的应用优化[J];甘肃联合大学学报(自然科学版);2010年05期

4 杜艳可;徐瑞;;具有时滞的递归神经网络动力学研究进展[J];北华大学学报(自然科学版);2012年01期

5 蒋洪睿,莫玮,李丽;递归神经网络自适应均衡抗突发干扰研究[J];电讯技术;2000年01期

6 宋轶民,余跃庆,张策,马文贵;动态递归神经网络及其在机敏机构辨识中的应用[J];机械科学与技术;2001年04期

7 张奇志,贾永乐,周雅莉;噪声有源控制的递归神经网络方法[J];控制与决策;2001年03期

8 李峰,李树荣;基于动态递归神经网络的动态矩阵控制[J];石油大学学报(自然科学版);2001年03期

9 唐普英,李绍荣,黄顺吉;一种新的复值递归神经网络训练方法及其应用[J];信号处理;2001年06期

10 文敦伟,蔡自兴;递归神经网络的模糊随机学习算法[J];高技术通讯;2002年01期

相关会议论文 前10条

1 房毅宪;王宝文;王永茂;;基于偏差递归神经网络的股价预测(英文)[A];计算机技术与应用进展——全国第17届计算机科学与技术应用（CACIS）学术会议论文集（上册）[C];2006年

2 刘勇;沈毅;胡恒章;;递归神经网络自适应滤波器[A];1998年中国智能自动化学术会议论文集（上册）[C];1998年

3 赵英凯;蔡宁;;基于对角递归神经网络的肟化投酮量在线预估[A];1998年中国智能自动化学术会议论文集（上册）[C];1998年

4 李树荣;李峰;;基于动态递归神经网络的非线性系统重构[A];1998年中国控制会议论文集[C];1998年

5 史志伟;韩敏;;应用递归神经网络建立非线性结构系统模型[A];第二十三届中国控制会议论文集（下册）[C];2004年

6 丛爽;戴谊;;递归神经网络逼近性能的研究[A];'2006系统仿真技术及其应用学术交流会论文集[C];2006年

7 吕进;郭晨;刘雨;;基于不完全递归神经网络的二阶导数多步预测模糊控制及应用[A];2007年中国智能自动化会议论文集[C];2007年

8 蒲兴成;;时变时滞不确定递归神经网络渐近稳定的一个充分条件[A];2008’“先进集成技术”院士论坛暨第二届仪表、自动化与先进集成技术大会论文集[C];2008年

9 仉宝玉;吴志敏;;基于对角递归神经网络的智能PID控制[A];'2003系统仿真技术及其应用学术交流会论文集[C];2003年

10 沈艳;谢美萍;;基于递归神经网络的船舶运动极短期建模预报[A];第二届全国信息获取与处理学术会议论文集[C];2004年

相关博士学位论文 前10条

1 赵永昌;一类时滞静态递归神经网络的动力学行为研究[D];中国海洋大学;2010年

2 高海宾;扰动作用下递归神经网络稳定性研究[D];燕山大学;2006年

3 黄玉娇;具有广义分段线性激活函数的递归神经网络的多稳定性分析[D];东北大学;2014年

4 徐东坡;递归神经网络梯度学习算法的收敛性[D];大连理工大学;2009年

5 于佳丽;递归神经网络的连续吸引子与模糊控制[D];电子科技大学;2009年

6 王芬;递归神经网络的动力学行为分析[D];武汉科技大学;2011年

7 季策;时滞递归神经网络的动态特性研究[D];东北大学;2005年

8 徐军;递归神经网络稳定性分析[D];浙江大学;2007年

9 张锐;几类递归神经网络的稳定性及其应用研究[D];东北大学;2010年

10 张益军;时滞递归神经网络稳定性分析及网络化同步控制[D];东华大学;2008年

相关硕士学位论文 前10条

1 柳玉华;一种递归神经网络方法研究及其在非线性系统跟踪控制中的应用[D];江西理工大学;2015年

2 罗威威;全局指数稳定的递归神经网络的鲁棒性分析[D];中国矿业大学;2015年

3 杨渺渺;具有时滞的递归神经网络稳定性分析[D];电子科技大学;2015年

4 崔志超;基于产品特征的中文评论情感分析系统设计与实现[D];河北科技大学;2015年

5 余仕敏;基于递归神经网络的广告点击率预估[D];浙江理工大学;2016年

6 宛立达;基于振动信号分析的故障诊断理论与应用[D];东北石油大学;2010年

7 李克强;基于Spark的大规模RNNLM系统[D];江苏大学;2016年

8 谢伟浩;基于多尺度时间递归神经网络的人群异常检测[D];广东工业大学;2016年

9 曹成远;基于深度学习的蛋白质残基相互作用预测[D];苏州大学;2016年

10 梁军;基于深度学习的文本特征表示及分类应用[D];郑州大学;2016年

，

本文编号：2211816