基于知识驱动的人机对话系统设计与实现

发布时间：2021-11-27 23:44

　　近年来,人机对话系统作为人工智能的一项基础应用,越来越受到学术界和工业界的重视。人机对话系统主要分为两类:面向任务的人机对话系统可以完成基础的重复工作,节省人力成本;非任务型人机对话系统能够提供更加智能,更加拟人的对话体验。非任务型人机对话系统主要采用序列到序列的模型,然而标准的序列到序列模型倾向于生成高频万能回复,且缺少足够的有用信息,难以给用户提供实际帮助。引入外部知识可以丰富模型生成应答的信息量,提升应答的多样性,缓解高频万能回复问题。本论文设计并实现了一个基于知识的端到端人机对话模型,在标准基于注意力机制的序列到序列模型基础上,引入了知识编码器、知识注意力机制和相关知识排序模块,使得外部结构化的知识信息可以在模型解码过程中指导应答的生成,提升模型生成应答中包含的信息量,间接提升模型应答的多样性;此外通过引入层次化对话历史编码器,提升模型在真实复杂对话数据上的建模能力,进而提升模型在复杂对话场景下生成应答的质量。最后在电影领域的模拟对话数据和公开对话数据集上对本文提出的模型有效性进行了验证,实验表明本文提出的模型能够生成包含更多知识,信息更丰富的应答。另外,本论文设计并实现了基于... 

【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校

【文章页数】：84 页

【学位级别】：硕士

【部分图文】：

图１?－?１?一个典型的面向任务的人机对话系统结构??

多层感知机、卷积神经网络和循环神经网络。??２．１．１多层感知机??一个典型的多层感知机的结构如图２－１所示，网络中由不同的节点构成了输??入层、若干隐藏层和输出层。网络中每个节点包含对应的权重和激活函数，常用??的激活函数有双曲正切函数（ｔａｎｈ）和ｓｉｇｍｏｉｄ函数（下文中记为（Ｔ函数），其中双曲??正切函数如式２－１所示，其取值范围为－１到１，ｓｉｇｍｏｉｄ函数如式２－２所示，其取??值范围为０到１，且双曲正切函数值和ｓｉｇｍｏｉｄ函数值存在着变换关系，如式２－??３所示。??磁⑷＝：＋■：■；?（２?－?１｝??１??ｓｉｇｍｏｉｄ（ｘ）?－?１?＋?ｅ＿ｘ?（２－２）??ｔａｎｈ（ａｃ）?＝?２ｃｒ（２ｘ）?—?１?（２?—?３）??多层感知机中相邻两层节点之间互相连接，在网络前向传播过程中，信息经??过输入层、隐藏层，传递到输出层，每层的输出只由当前层的输入决定。每一层??包含独立的权重和激活函数，不同感知机之间网络结构、权重和激活函数的不同??使得感知机能够拟合不同的函数。??９??

?列到序列模型［４Ｇ］等。采用卷积神经网络对自然语言句子进行特征抽取和分类的??典型结构如图２－２所示，包含输入层、卷积层、池化层和输出层四部分：??］）输入层，将输入的离散文本信息通过词嵌入（ＷｏｒｄＥｍｂｅｄｄｉｎｇ）［４１噪作转??换为低维连续特征向量。具体来讲：首先初始化Ｅｍｂｅｄｄｉｎｇ的参数矩阵??，其中Ｖ是词表大小，Ｍ是词向量维度，该参数Ｅ随着模型??一起优化；然后对于每一个词在Ｅｍｂｅｄｄｉｎｇ参数矩阵中找到对应的Ｍ??维向量，即为转换后的连续低维特征向量。假设文本长度为Ｎ，通过词??嵌入操作后会得到一个ｉＶ?ｘ?Ｍ的二维矩阵。??２）

【参考文献】：
期刊论文
[1]关于人机对话系统的思考[J]. 王小捷.  中兴通讯技术. 2017(04)
[2]语音识别的研究与发展[J]. 何湘智.  计算机与现代化. 2002(03)



本文编号：3523270