基于深度学习的任务型多轮对话口语理解研究

发布时间：2020-12-31 19:36

　　随着人工智能技术的发展,人机对话系统逐渐出现在了人们的日常生活中。这种任务驱动的人机对话系统能够通过用户提供的信息,协助用户完成特定领域的任务。口语理解作为任务型人机对话系统的关键模块,可以从用户的自然语言中提取出计算机能够识别的结构化数据,主要包括两个子任务:用户语句的意图识别与语义槽填充。深度学习模型能够以端到端的形式高效地完成口语理解任务,从而提高任务型对话系统的整体效果。在多轮对话中,用户与机器之间的历史对话信息能够为口语理解模型提供额外的信息支撑从而更好地理解用户的当前语句。但是并非所有的历史信息都与当前句相关,在人机交互中用户的意图存在跳转的情况,这时无关的历史信息则会为当前句的理解带来负面影响。此外,在人与人之间的交互中,言语背后通常都省略了人们通晓的常识和知识,但是机器却不了解这些信息,无法和人类一样进行推理。本文将历史信息和外部知识引入意图识别和语义槽填充的联合模型,使模型能够更加精准地理解用户对话。本文主要研究包括:提出了一种融入历史信息的口语理解联合模型,该模型能够利用机器与用户之间的历史对话信息,从而提升意图识别和语义槽填充任务的准确度。针对该历史信息存在的意图... 

【文章来源】：华中师范大学湖北省 211工程院校 教育部直属院校

【文章页数】：60 页

【学位级别】：硕士

【部分图文】：

图１．２任务型人机对话系统输入输出样例??目前，口语理解技术的发展经过三个阶段：第一个阶段是基于规则模板的口??

ｆｏｒｍｅｒ实现其特有的编码器，并利用无监督学习，??让模型能够学到一个词在不同上下文语境下拥有不同的语义表示。由于ＢＥＲＴ是??由深层Ｔｒａｎｓｆｏｒｍｅｒ构成并在强大的硬件系统的支撑下训练完成的，所以Ｇｏｏｇｌｅ??公司为全世界的研宄人员提供了己完成预训练的ＢＥＲＴ模型，研宄人员只需要在??该模型的下游补充用于解决特定任务的神经网络并采取微调（ｆｉｎｅ－Ｕｍｅ）的形式，??就可以从多任务联合学习（Ｍｕｌｔｉ－Ｔａｓｋ?Ｌｅａｒｎｉｎｇ）的角度解决ＮＬＰ问题。??ＢＥＲＴ模型结构如图２．１所示，本文实验利用ＢＥＲＴ输入后的编码层获得词向??量，ＣＬＳ位标签的向量表示代表句子的分类信息，辅助完成口语理解任务。??＇［ＣＬＳ］?［■词编码１?ｆ?ｉ司编码ｆ词编码＇??ｔ输出?１?２?ｎ??ＢＥＲＴ??＾?Ｅ＿［ｄｓ）?Ｅ＿１?Ｅ＿２?Ｅ＿ｎ?Ｊ??［ＣＬＳ］?｜?｜?［词１】?［词２］?｜?［词ｎ】??图２．?１?ＢＥＲＴ模型结构图??１３??

ｚＳＳｘ硕士学位论文??ＭＡＳＴＥＲ＇Ｓ?ＴＨＥＳＩＳ??２．３神经网络和深度学习??与传统机器学习不同的是，深度学习模型作为一种端到端的结构能够在没有??特征工程干预的情况下从训练数据中学习特征［３９］，是目前解决人工智能领域问题??的有效途径和方法。对于口语理解中的意图识别任务和语义槽填充任务来说，构??建深度神经网络模型是目前的主流解决手段。??如图２．２所示，一个基本的全连接神经网络的基本构成包括输入层（Ｉｎｐｕｔ??ｌａｙｅｒ）、隐藏层（Ｈｉｄｄｅｎ丨ａｙｅｒ）和输出层（Ｏｕｔｐｕｔ?ｌａｙｅｒ）。全连接网络简单且有??效，但是其存在两个非常明显的缺点：首先，每次网络的输出只依赖于当前的输??入，没有考虑不同时刻输入的相互影响；其次，输入和输出的维度必须固定，没??有考虑到序列结构数据长度的不固定性。所以，循环神经网络的出现解决了全连??接神经网络的问题，对自然语言处理领域的发展起到了关键性的作用。??输入层?隐藏层?输出层??图２．２全连接祌经网络结构示意图??２．３．１循环神经网络??自然语言处理领域中，循环神经网络（ＲＮＮ）作为最常用的基础神经网络模??型广受研宄人员的喜爱。循环神经网络的结构展开图如２．３所示，其中；ｃ是输入??序列（长度为：Ｔ），／ｚ是隐藏层序列，〇是输出序列，Ｚ是总体损失，少是目标标??签序列，ｔ／是输入层到隐藏层的参数矩阵，Ｆ是隐藏层到隐藏层的自循环参数矩??１４??

【参考文献】：
硕士论文
[1]任务型人机对话系统中口语理解技术研究[D]. 王逾凡.华中师范大学 2019



本文编号：2950191