基于深度学习的客服问题相似度识别

发布时间：2020-12-20 04:33

　　随着移动互联网的不断发展与普及,传统的客服越来越不能满足当前的业务需求,基于语言技术的智能客服系统应运而生。在智能客服问答系统中,用户的问题具有咨询意图复杂、上下文相关性弱、问题多样、指代缺失、口语化严重等问题,造成智能客服在计算问句相似度的准确率不高,容易出现答非所问的情况。基于词匹配相似度计算,只从单个词的字面意思考虑,忽略了文本的语义信息。基于词向量相似度的方法虽然可以有效表达词汇之间的语义关系,但忽略了两个句子在特定语义环境下的相互作用。为了解决上述问题,本文提出了将深度学习中的一些模型引入到智能客服问题相似度识别中来。首先,本文提出基于多交互注意力卷积神经网络MA-CNN（Multi-Attention-CNN）。MA-CNN通过两个不同位置的注意力机制,综合考虑了两个句子间的词语层次、句子级别的深层语义信息,帮助智能客服多层次、多角度、多粒度地理解用户的问题。从而改善了基于词向量的相似度计算方法只关注了句子间词语之间的关系,而忽略了不同句子间整体的语义联系的问题。其次,在交互注意力机制的研究基础上,本文提出一种基于双向多注意力多循环神经网络BMA-GRU（Bilateral... 

【文章来源】：中国民航大学天津市

【文章页数】：57 页

【学位级别】：硕士

【部分图文】：

CBOW模型

Skip-Gram 模型BOW 模型依然是通过目标词的上下文预测目标词的学习过程中到词，我们通过目标词对目标词的上下文的学习过程中学习到词向ram。Skip-Gram 模型去掉了中间隐层，简化了结构，减少了计算图 2-3。公式（2.9）是 Skip-Gram 模型形式化表达。0e( | )eo io ju Vi u VjP w w = 中，iV 为iw 的输入向量，jU 为jw 的输出向量。输入层W(t-2)隐层 输出层

图 2-5 LSTM 模型1 2{ , ,......, }mx x x 作为输入，输入第 t 时刻的特征，得到第 t 时刻的 LSTM态的特征值公式如下：xf t hf t 1fσW x W h b （ + +） (1( )xi t hi t iσW x W h b + + (1tanh( )xc t hc t cW x W h b + +(t t 1t tf c i + ⊙ ⊙C (1 1( )xo t ho t co t oσW x W h W c b + + + (tanh( )t t o ⊙ c(W 为 LSTM 的权值矩阵，b 为 LSTM 的偏置向量，σ 为 sigmoid 函数，⊙


本文编号：2927214