基于深度学习的电子商务语音客服中的客户情感研究

发布时间：2021-02-23 22:26

　　为了适应语音客户机器人根据客户情感开展高效服务的需求,研究了提高客户语音情感的识别率方法。首先从电话客服服务器录音中剪辑片段建立了CASIA中文多模态自然情感语料库,给出了14种主要情感和13种非典型的情感类型。其次建立了一个较大规模自然口语风格的汉语疑问语气语料库,并进行了单句、音节层面的韵律层级标注工作,最后采用线性融合韵律特征、梅尔频率倒谱特征的方法对汉语疑问语气、陈述语气进行分析,把整句的基频最大值、最小值也作为区分疑问、陈述语气的特征。实验结果表明,融合后的识别率较融合前平均提高了16%。 

【文章来源】：电子器件. 2020,43(05)北大核心

【文章页数】：7 页

【部分图文】：

语音情感识别模型

针对目前计算机语音技术在处理语音中所包含的表意信息时,忽略和丢弃了大量的表情信息的问题,本实验从汉语语调入手研究汉语疑问语气与陈述语气之间的差异,为多风格、多情感语音的输出提供依据。本文在分析现有研究中常用的区分汉语陈述、疑问语气的韵律特征基础上,旨在探讨区分疑问语气、陈述语气强相关的韵律特征,并提出了融合韵律特征与谱特征对汉语语气识别的重要性,具体路线图如图2所示。研究使用的语料不同于少量典型的实验语料,而是建立在大规模汉语普通话语料基础之上。研究中针对汉语疑问、陈述、责备语气的特殊性,有针对地提取每句话首音节、倒数第2音节、末音节的韵律特征以及 MFCC谱特征。融合前分别进行了特征选择和特征降维方法的试验,以达到寻找区分疑问、陈述语气的强相关韵律特征,以及去除MFCC谱特征中的冗余信息。本方法用于大规模语料、说话人无关条件下,取得平均识别率 77%的理想识别性能,特征融合方法较单一韵律特征集识别率提高16%。

情感库中情感片段的选择依据的原则:待选片段是人们客服急需解决的问题;待选片段中人物的声音必须是原声的,而非翻译的;待选片段中语音必须是普通话,避免方言口音。本文主要选取电话客服中心录音,是人们在售前、售中和售后迫切要解决的产品了解、交易、送货、安装等问题,所以出现较多的情感为中性、高兴、生气、悲伤几种典型情感类型。本文所建立的情感数据库主要包括高兴、中性、伤心、厌恶、惊讶、担心、生气、焦虑、害怕、紧张以及部分其他较少出现的情感,如图 4 所示。本文旨在为多模态情感识别提供基础。图4 数据库中14种主要情感标签


本文编号：3048336