基于语音识别的手语翻译算法研究与实现

发布时间：2021-01-29 22:04

　　在我国有2000多万的听力语言残障人士,他们无法像健全人一样通过说话和聆听与外界进行沟通,只能通过无声的手语与旁人交流。为了让聋哑人士更好地融入社会,有效地与社会进行交流,手语翻译扮演着至关重要的角色。随着人工智能的不断发展,各种深度学习技术不断涌现,鉴于我国聋哑人数庞大而且关于语音至手语翻译方面的研究较少,如何将人工智能融入到手语翻译中,让聋哑人可以便捷地“听懂”健全人的说话内容这一方向具有广泛及实用的研究和应用价值。本文以基于语音识别的手语翻译算法为研究目标,主要展开了以下工作内容:（1）语音识别是语音到手语的基础工作,其又可分为两大任务:声学模型和语言模型。本文首先对语音识别的声学模型展开研究,对DFCNN（Deep Fully Convolutional Neural Network）框架进行了改进,提出了CNN+CTC（Convolutional Neural Network+Connectionist Temporal Classification）算法,实现了端到端的声学模型。该算法可以有效地将语音数据识别为中文拼音序列,在测试集上的词错误率和句错误率分别为9.20%和2... 

【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校

【文章页数】：76 页

【学位级别】：硕士

【部分图文】：

语音信号时频图

第三章语音识别声学模型研究3314为不包括Batch_normalization层网络的训练loss值变化，图3-15为包括Batch_normalization层的网络训练loss值的曲线。从两个图中可以看出，不加Batch_normalization层的网络会从一个很高的loss值开始下降，而且收敛速度非常慢，同为迭代100次，不加Batch_normalization层的网络的loss值变化非常平缓，需要较多次迭代来达到收敛。而加入包括Batch_normalization层的网络的loss变化曲线则不会出现这些问题，较快达到了收敛。图3-14不包括BN层网络loss变化曲线图3-15包括BN层网络loss变化曲线

第三章语音识别声学模型研究3314为不包括Batch_normalization层网络的训练loss值变化，图3-15为包括Batch_normalization层的网络训练loss值的曲线。从两个图中可以看出，不加Batch_normalization层的网络会从一个很高的loss值开始下降，而且收敛速度非常慢，同为迭代100次，不加Batch_normalization层的网络的loss值变化非常平缓，需要较多次迭代来达到收敛。而加入包括Batch_normalization层的网络的loss变化曲线则不会出现这些问题，较快达到了收敛。图3-14不包括BN层网络loss变化曲线图3-15包括BN层网络loss变化曲线

【参考文献】：
期刊论文
[1]基于注意力LSTM和多任务学习的远场语音识别[J]. 张宇,张鹏远,颜永红.  清华大学学报(自然科学版). 2018(03)
[2]语音识别技术的研究进展与展望[J]. 王海坤,潘嘉,刘聪.  电信科学. 2018(02)
[3]手语翻译设备的发展现状及未来趋势[J]. 王丹蕾,聂桂平.  设计. 2016(19)
[4]智能语音交互技术及其标准化[J]. 胡郁,严峻.  信息技术与标准化. 2015(04)
[5]自然手语与文法手语的区别[J]. 由婧涵.  乐山师范学院学报. 2014(01)
[6]基于Direct3D逼真中国手语合成技术研究及应用实现[J]. 颜庆聪,陈益强,刘军发.  系统仿真学报. 2009(22)
[7]汉语自动分词研究进展[J]. 文庭孝.  图书与情报. 2005(05)
[8]基于层叠隐马模型的汉语词法分析[J]. 刘群,张华平,俞鸿魁,程学旗.  计算机研究与发展. 2004(08)
[9]书面汉语的自动分词与一个自动分词系统—CDWS[J]. 梁南元.  北京航空学院学报. 1984(04)

硕士论文
[1]语音识别关键技术研究[D]. 王一蒙.电子科技大学 2015



本文编号：3007685