应用于客服领域的对话生成方法研究

发布时间：2021-06-25 03:54

　　图灵测试是人工智能领域王冠上的明珠,而对话则是图灵测试的一种实现。本文就生成式的对话方法进行研究,并将对话生成模型应用于客服领域的问答之中。首先,本文在网上爬取了大量中文对话数据,建立了中文对话数据库,该数据库共包含325万条问答对。其次,构建了基于监督学习的对话模型。该模型由一个编码器和一个解码器构成,其中编码器将输入问题序列编码成中间语义向量,解码器将中间语义向量解码为输出回答序列。同时,将注意力机制和复制机制进行融合,并加入到对话生成模型之中,这两种机制有效地提高了对话模型生成句子的质量。然后,针对中文可以用汉语拼音表示这一特点,提出了采用拼音降维的中文对话模型。模型以拼音作为输入,将拼音分为声母、韵母和声调三个部分,以此减小输入维度。之后以嵌入编码的方法将拼音信息组合为拼音图的形式,并通过全卷积神经网络和双向LSTM网络分别提取基于单个字的拼音特征和基于上下文的拼音特征。采用拼音降维的中文对话模型有效地降低了模型的空间复杂度和时间复杂度,对构建大型中文对话模型有很大帮助。最后,提出了一种结合强化学习和生成式对抗网络的对话生成模型。该模型将对话生成任务当作一个强化学习过程,从而促... 

【文章来源】：上海交通大学上海市 211工程院校 985工程院校 教育部直属院校

【文章页数】：71 页

【学位级别】：硕士

【部分图文】：

循环神经网络结构[56]

上海交通大学硕士学位论文第五章基于对抗的强化学习的对话生成模型36区分出回答句子是由生成器生成的还是人类生成的。在训练中交替地对生成器和判别器进行参数更新，从而使生成器生成的句子越来越类似于人类生成的句子。生成式对抗网络的结构如图5.1所示：图5.2生成式对抗网络框架[24]Figure5.2FrameworkofGenerativeAdversarialNetwork生成器的作用是根据输入问题生成高质量对话从而混淆判别器，当得到问题输入}x,,x,{x1T21x时，生成器将会生成一个回答},,,{221Tyyyy，其中1T为输入问题的长度，2T生成回答的长度。生成器模型的参数进行更新如式(5.1)、(5.2)所示：ExxGD)15.()))],(,(1[log(min)2.5(},,,,{)(221TyyyxG上式中G为生成器模型，D为判别器模型，由式(5.1)可以看到，为了最小化损失函数，生成器将尽可能生成可以混淆判别器判断的句子。由于对话问题中输入和输出都是序列，采用第三章提到的Seq2Seq模型作为生成式对抗网络中的生成器，该模型包含用于将输入转换为中间语义的编码器，以及用于将中间语义解码为输出的解码器。为了结合前后文信息，以一个双向LSTM网络作为Seq2Seq模型的编码器，并将一个结合了注意力机制的多层GRU网络作为Seq2Seq模型的解码器。判别器的作用是区分出回答句子是由生成器生成的还是人类生成的。将判别器作为一个二分类器，在训练时以输入问题},,,{121Txxxx和生成器生成的回答},,,{221Tyyyy组成的问答对},{yx作为负样本，以输入问题和人类生成的回答},,,{321Tyyyy组成的问答对},{yx作为正样本对判别器模型的参数进

上海交通大学硕士学位论文第五章基于对抗的强化学习的对话生成模型39模型的决策不断生成词汇，并最终采样出多个完整的句子从而计算针对每一个词汇的奖励。N次（实验中设为5）蒙特卡洛搜索如式(5.8)所示：)5.8(}.,,{),(,1,:1NiiijCyyyNM上式中，当给定一个不完整的句子ijy:1时，为了计算第j个单词的奖励，生成器将以不完整的句子作为前缀，不断地生成单词并将生成的单词添加到句子中，直到生成了一个完整的句子为止。该过程会被重复N次，这样通过蒙特卡洛搜索算法就得到了N个完整的句子。然后这N个完整的句子被输入到判别器中，每个句子都对应着一个奖励。最后这N个句子的奖励均值会被作为第j个单词的奖励，如式(5.9)所示：)9.5(),,(,),(1:1,1,,yxDrNyMyCNijniNnniihumanij蒙特卡洛搜索的流程如图5.3所示：图5.3蒙特卡洛搜索流程[36]Figure5.3ProcessofMonteCarloSearch5.2递减真值替换率5.2.1exposurebias问题Bengio[37]等在2013年发表的论文指出Seq2Seq模型存在exposurebias问题。即解码器在训练阶段生成句子时以真值作为当前时刻的输入，而在测试阶段生成句子时以上一时刻的输出作为当前时刻的输入。这是因为Seq2Seq模型在训练阶段需要真值作为参数更新的指导，从而使模型可以收敛。Exposurebias问题如图5.4所示：


本文编号：3248441