环境辅助的多任务混合声音事件检测方法

发布时间：2021-04-29 05:02

　　在混合声音事件检测任务中,不同事件的声音信号相互混杂,从混合语音信号中提取的全局特征无法很好地表达每种单独的事件,导致当声音事件数量增加或者环境变化时,声音事件检测性能急剧下降。目前已存在的方法尚未考虑环境变化对检测性能的影响。鉴于此,文中提出了一种基于多任务学习的环境辅助的声音事件检测模型（Environment-Assisted Multi-Task,EAMT）,该模型主要包含场景分类器和事件检测器两大核心部分,其中场景分类器用于学习环境上下文特征,该特征作为事件检测的额外信息与声音事件特征融合,并通过多任务学习方式来辅助声音事件检测,以此提高模型对环境变化的鲁棒性及多目标事件检测的性能。基于声音事件检测领域的主流公开数据集Freesound以及通用性能评估指标F1分数,将所提模型与基准模型（Deep Neural Network,DNN）及主流模型（Convolutional Recurrent Neural Network,CRNN）进行对比,共设置了3组对比实验。实验结果表明:1)相比单一任务的模型,基于多任务学习的EAMT模型的场景分类效果和事件检测性能均有所提升,且环境上... 

【文章来源】：计算机科学. 2020,47(01)北大核心CSCD

【文章页数】：6 页

【文章目录】：
1 引言
2 环境辅助的混合声音事件检测
    2.1 EAMT模型结构
        2.1.1 输入层
        2.1.2 硬共享层
        2.1.3 场景分类器
        2.1.4 声音事件检测器
    2.2 多任务学习方法
3 实验
    3.1 数据集
        1)Freesound-env:
        2)Freesound-6:
        3)Freesound-9:
        4)Freesound-12:
    3.2 实验设置
    3.3 性能评估
        1)不同的多任务学习结构对F1分数的影响。
        2)环境变化对声音事件检测F1的影响。
        3)声音事件数量对声音事件检测F1的影响。



本文编号：3166892