基于多普勒雷达的发音动作检测与命令词识别

发布时间：2021-10-26 20:11

　　本文提出了一种基于多普勒微波雷达的发音动作检测与命令词识别方法.该方法利用微波雷达的多普勒特性检测发音过程中面部肌肉的微小变化,实现不依赖语音声学信号的命令词识别.本文首先设计实现了一个基于多普勒微波雷达的发音动作检测系统,并基于此系统构建了一个包含2个说话人的命令词识别数据库.然后,本文研究了基于支持向量机和卷积神经网络模型的雷达数据分类方法,并对比了不同模型和特征组合在单话者建模和多话者建模情况下的命令词识别性能.实验结果表明,本文设计的数据采集系统可以有效检测发音动作,所构建的卷积神经网络分类器可以取得90%以上的命令词识别准确率. 

【文章来源】：小型微型计算机系统. 2020,41(02)北大核心CSCD

【文章页数】：5 页

【部分图文】：

各模型测试结果混淆矩阵图

多话者建模实验的结果如图4所示．对比表3和图4可见在多话者建模实验中，SVM的性能有较明显地下降，而使用CNN的模型仍保持和单话者建模实验中相近的水平，从而再次证明CNN模型可以较好胜任本文的命令词识别任务．SVM性能下降的一个可能原因是两个说人在命令词数据模式上具有较大的差别，SVM并没有足够的能力同时学习到两个说话人的发音动作特征．为验证这个猜想，本文设计了一个话者交叉的多人建模补充实验，该实验使用一个说话人的全部数据作为训练数据，另一个说话人的全部数据作为测试数据，仍使用前述的CNN＿frm模型，结果显示测试集分类正确率仅为20%左右，此实验证明两个说话人的模式差异性较大．在多人建模实验中，虽然测试集和训练集都包含了相同的2个说话人，但是SVM模型的性能却由于两个说话人模式的差异性出现一定的下降;而CNN模型却几乎没有性能损失，可见CNN模型可以同时学习两个说话人各自的特征模式．

本文设计实现的数据采集系统框图如图1所示．该系统平行采集两路信号:一路是语音信号，语音通过一个USB接口的电容麦克风录制;另一路包括三个雷达的输出数据，共6个通道，雷达输出数据经处理后由单片机通过串口发送至PC上．2.3 硬件实现

【参考文献】：
期刊论文
[1]基于隐马尔科夫模型的中文发音动作参数预测方法[J]. 蔡明琦,凌震华,戴礼荣.  数据采集与处理. 2014(02)



本文编号：3460130