基于深度学习的个性化对话内容生成方法

发布时间：2021-06-29 15:06

　　人机对话系统是人机交互领域一个非常重要的研究方向,开放域聊天机器人的研究受到了广泛关注。现有的聊天机器人主要存在3个方面的问题:①无法有效捕捉上下文情境信息,导致前后对话内容缺乏逻辑关联。②大部分不具备个性化特征,导致聊天过程千篇一律,且前后对话内容可发生矛盾。③倾向于生成"我不知道"、"对不起"等无意义的通用回复内容,极大降低用户的聊天兴趣。本研究中利用基于Transformer模型的编解码（Encoder-Decoder）结构分别构建了通用对话模型和个性化对话模型,通过编码历史对话内容和个性化特征信息,模型可以有效捕捉上下文情境信息以及个性化信息,实现多轮对话过程,且对话内容符合个性化特征。实验结果表明,基于Transformer的对话模型在困惑度（perplexity）和F1分数评价指标上相比于基线模型得到了一定的提升,人工评价显示模型可以正常进行多轮交互对话过程,生成内容多样性高,且符合给定的个性化特征。 

【文章来源】：图学学报. 2020,41(02)北大核心CSCD

【文章页数】：7 页

【部分图文】：

Transformer模型整体结构图

自注意力机制是Transformer模型最核心的部分，捕捉一个序列自身单词之间的依赖关系，根据上下文信息对句子中的单词进行编码，使得单词向量中蕴含丰富的上下文信息。计算过程中，输入序列的每个单词的词嵌入向量分别与3个权重矩阵相乘得到对应的Q、K及V向量，然后将当前单词的Q向量与输入序列中其他单词的K向量作点积运算得到相关程度，进行归一化后的结果再通过Softmax激活函数得到概率分布，最后将概率分布作为权重值对每个单词的V向量进行加权，得到当前时刻单词的向量表示，即4 个性化对话模型设计

本文实验过程中首先进行通用对话模型的设计与实现开放域多轮日常对话过程。本文中设计的通用对话模型基于编-解码结构，其中编码端和解码端分别由Transformer编码器和解码器组成。模型的整体结构如图3所示。编码端和解码端的层数均为12层，为了考虑上下文情境信息，在编码阶段，将历史对话内容编码，其中可能包含多个句子序列，每个序列独自输入模型，与当前时刻输入共同作用影响解码阶段的预测输出。


本文编号：3256662