基于深度学习的目标语音信号提取算法

发布时间：2021-08-05 23:36

　　说话人语音提取是说话人语音分离领域中的一部分,有监督学习的情况下,针对从单声道观测语音信号中提取目标说话人语音,本文提出了基于注意机制的说话人语音提取算法,该算法充分利用已知目标源语音信号的辅助信息,针对性的提取我们想要的目标语音信号。近年来随着深度学习的发展,深度学习模式已广泛应用于图像和语音信号的处理领域中。本文主要研究了基于深度学习的注意机制目标说话人语音的提取。论文主要贡献如下:1.构建两个深度神经网络:一个时频掩蔽估计网络、一个说话人信息提取的辅助网络。将混合语音和不同于混合语音中的目标说话人额外语音分别作为两个网络的输入。针对辅助网络对目标说话人额外语音进行目标说话人的信息参数提取,采用了语音序列汇总法和带有注意功能的语音序列汇总法两种信息参数提取方法。将辅助网络输出的信息参数作为权重向量引入到掩蔽估计网络的隐藏层中,对其每一个单元的输出按照权重进行缩放,得到对应于目标说话人的内部嵌入向量。最终利用目标说话人对应的嵌入向量在掩蔽估计网络中传递训练并估计目标说话人的掩蔽。2.构建语音分离和提取的统一神经网络框架,提出了基于嵌入式注意机制的目标说话人语音提取算法。首先该算法将基... 

【文章来源】：南昌大学江西省 211工程院校

【文章页数】：57 页

【学位级别】：硕士

【部分图文】：

图２．３?Ｘｕ等人提出的基于ＤＮＮ的语音分离网络模型［４４］??目前研宄学者也提出了很多以ＤＮＮ基础的改进的语音分离方法

?第２章语音分离基本理论???ｔ???？?ｇ一、??ｉ???Ｈ?／ｗ，．，（ｍ？Ｈｒ）?ｋ??斗??—？！，ｗｘ）?ｋ???±，????？?，ｗ丨（ｍ＇，Ｈ：）?＼??、Ｗ！???Ｈ?／ｗ？Ｋ＝Ｈ：）?ｋ??＼?ｗ°??ｍ，?Ｈ：??图２．４?Ｊｏｎａｔｈａｎ?Ｌｅ?Ｒｏｕｘ等人提出ＮＭＦ和ＤＮＮ结合的语音分离网络模型［Ｍ］??１４??

?第３章基于注意机制ＤＮＮｓ的目标人语音提取算法???第３章基于注意机制ＤＮＮｓ的目标人语音提取算法??本章主要研宄特定单声道目标说话人的分离，同时利用了目标说话人辅助??语音信息（非训练目标说话人语音），将更多的注意力放到特定目标说话人上。??首先对混合语音信号进行短时傅里叶变换，并求其幅度谱特征和对应的相位，??以同样的方法求出目标说话人辅助语音的幅度谱。然后将混合语音信号的幅度??谱和辅助语音幅度谱分别作为掩蔽预测网络和辅助网络的输入，利用辅助网络??的输出指导掩蔽预测网络的训练。最后将估计的时频掩蔽用于目标说话人的提??龋分离框架如图３．１所示。??目标说话人语音?相位??＇＇?Ｖ??干扰￥话人语音?ｉＴｉｉｒｉ?￣?￣?ｒｚｉｒｉ?时频掩蔽￣?ｆＴＴｉｒ??混合信号Ｈ?求幅麟－＞??？元麵?一?一－４＊??ｆ声?——?提酬标人语音??崎．？￣—＞？求幅度谱－？？辅删络??目标说话人辅??助语音?Ｉ注意机制??图３．１注意机制下的ＤＮＮｓ分离系统??３．１深度神经网的原理??根据人们对语音分离的理解，语音分离其实可以看成一个分类问题，传统??浅层模型的语音分离算法，首先需要提取语音特征，将语音信号转换成易于分??类的表达形式数据。如图３．２所示，同种形状的图形表示同类数据。??１６??


本文编号：3324646