基于长时间可穿戴社交数据集的语音分割方法的研究

发布时间：2020-09-18 18:45

　　随着工作和学环境压力的增加,心理健康问题已经成为当前社会研究的主要课题。通常研究人员通过使用社交感知行为来分析心理健康状态。社交感知信号通常包括语音信号,行为信号,心理感知信号等。其中语音信号由于包含丰富的情感和社交信息,是可靠的身心健康评估特征。在本文中,使用所提出的可穿戴设备进行了为期四周的长期监测实验研究。在完全自然的情况下分析具有分段的语音-社交特征。我们设计了用于基于极少特征语音分割的迁移学习模型算法。对经典的深度学习VGG-net网络进行修改,加入残差学习单元,以加深网络的深度,通过修改卷积核的大小,改变感受野大小。通过在TUT Acoustic Scenes数据集上训练模型,并在该模型上学习基本声学场景特征,基于模型的迁移算法,仅用四个可穿戴语音社交特征(能量、熵、亮度、共振峰)将模型迁移到长时间社交数据集。所获得的结果显示使用可穿戴长期语音社交数据集在无约束的自然情况下对语音场景可以进行有效的分割。对于长期社交语音监控,本文主要研究内容包括:1)基于长期语音-社交特征分析设计可穿戴智能设备来评估心理健康。该分析能够以有说服力的方式处理语音信号。客观地使用有限的四个语音-社交特征信号(能量、熵、亮度、共振峰)进行分析,避免直接记录语音,以保护个人隐私和减少计算复杂度。以大学生作为研究对象,设计了长达一个月的心理健康监测实验,用于评估他们的身心健康状况。2)将基于模型的迁移学习算法应用于语音分割领域,并通过基于模型的迁移学习模型研究提高对语音分割的精度。通过加入残差学习单元以增加网络结构的深度,提供网络的泛化能力。并通过改变卷积核的大小以调整感受野的大小。使得网络在少数特征(能量、熵、亮度、共振峰)的数据集上可以收敛。最终通过对基于模型的迁移学习模型的研究,以解决传统算法中经常发生的训练样本不足的问题。3)最后,建立分段语音-社交特征与焦虑(自闭症)水平状态之间的相互关系,用于协助研究大学生的心理健康状况。
【学位单位】：电子科技大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：R749;TN912.3
【部分图文】：

硬件平台,设备,模式,社交

可穿戴设备和基于 PC 端的语音分割算法是为了通过可穿戴设备（可穿戴手环）构建一个有限主设计的可穿戴手环在自闭症实验（该实验设计的细）的中收集被测试者（电子科技大学在校学生）的、共振峰），采集到语音社交特征会被保存在 SDK月的长时间可穿戴社交数据集，其中自闭症实验设详细介绍。可穿戴设备（可穿戴手环）主要用在自闭收集，每个受测试者被要求佩戴为期四周的时间，每语音特征数据集。通过 PC 端自主设计的基于模型迁语音数据集进行有效分割，构建出语音-社交特征关系，以方便研究大学生的心理健康状况。的社交感知平台以及特征描述的社交感知平台

函数图像,函数图像

越高迁移过程学习到的有用知识越多，在设计网络结构数。从改进 VGG 网络结构，基于模型的迁移学习算法和评估基于模型迁移学习语音分割算法。其中在改进 VGG 网络改进的细节部分以及相应的理论依据，基于模型的迁移中模型/参数迁移学习模型的部分的补充，进一步详细介程中用到的技巧，评估与分析中将介绍模型评估的指标以。VGG 网络结构经网络中一般是通过常用的算子来构建出基本的网络结构理的网络层被称为输入层主要包括白化、归一化和去均值卷积神经网络中的基本操作，通过使用离散卷积的形式，图片区域获得图像的局部信息。激活函数层主要是做一个为了增加网络的表达能力，常用的激活函数有Sigmoid 函 3-5 和 3-6 为两个激活函数的函数图像。

函数图像,线性整流,函数图像,函数图

图 3-6 线性整流函数 3-6 为线性整流函数图像，线性整流函数(RectifiedLinearUnit,ReLU), 正线性单元,通常指的以斜坡函数及其变种为代表的非线性函数。常意义下线性整流函数指代数学中的斜坡函数，即 ( x ) max(0, x)（3-3）公式求导可得1 0( )0 0xxx 在神经网络中线性整流作为神经元的激活函数，定义了该神经元在线 b 之后的非线性输出结果。换言之对于进入神经元的来自上一层神经向量 x,使用线性整流激活函数的神经元会输出至下一层神经元或作为络的输出。max(0, )TW X b

【参考文献】