面向自然语言理解的新槽值问题研究与应用

发布时间：2024-03-07 03:49

　　自然语言理解模块是任务型人机对话系统的重要组成部分,一般包含领域识别、意图识别与语义标注三个部分,语义标注识别用户输入中的槽值,也常称为槽填充,是自然语言理解的主要任务。在很多实际应用中,NLU不仅需要语义标注算法识别出用户输入中的槽值,还需要将槽值映射到一个预定义(或基于训练语料构建)的槽值列表上。但是,预定义的表难以包含所有可能槽值,实际对话中常常会出现不在列表(或训练语料)中的新槽值。有效识别新槽值对于自然语言理解的健壮性和对话系统的扩展性都具有重要价值,但是,传统的基于序列标注的方法以及基于分类的方法都无法有效地解决这一新槽值问题。本文针对上述问题,在充分调研已有相关研究的基础上,结合实际需求开展工作,具体内容包括:提出了一种基于注意力机制的联合语义标注模型以及基于负采样的模型训练方法。模型结合序列标注器与分类器,序列标注器定位槽值信息而分类器获得标准槽值或新槽值类别标签·,基于负采样的训练方法通过构建负样例使得模型可以进行监督训练。在两个语料的实验结果表明,基于负样例的训练显著提升了新槽值识别的性能,而注意力机制可以自主发现关键信息,进一步提升了模型性能。对联合模型进行了扩展...

【文章页数】：72 页

【学位级别】：硕士

【部分图文】：

图２－１全连接神经网络结构图??全连经网络的网络结单，易于实现，对函数有很强的拟合能力

神经网络（Ｒｅｃｕｒｒｅｎｔ?Ｎｅｕｒａｌ?Ｎｅｔｗｏｒｋ，?ＲＮＮ）［２６］。ＲＮＮ是一种节点定向连接成环的??人工神经网络，用于处理序列数据，有效地解决了全连接神经网络在自然语言处??理领域的不足。图２－２所示为典型的ＲＮＮ结构图。??６?°ｔ－ｉ?°ｔ?°ｔ＋１??Ａ?八?....

图２－２循环神经网络结构图【２７】??从图中可见，这种网络的内部状态可以展示动态时序行为

?隐藏层?输出层??图２－１全连接神经网络结构图??全连接神经网络的网络结构简单，易于实现，对函数有很强的拟合能力。然??而，它的层数与每层网络的节点数目均为固定，无法应用于变长的输入。对于大??多数自然语言处理的应用而言，其输入往往是不定长的自然语言文本。与此同时，??全连接神....

图２－３长短期记忆网络结构图［２９］??图２－３为ＬＳＴＭ—个存储块的结构图

ｍ??图２－３长短期记忆网络结构图［２９］??图２－３为ＬＳＴＭ—个存储块的结构图。从图中可知，输入门作用在最新的状??态向量上，用于控制信息的更新，输出门作用在当前时刻的输出上，用于选择单??元的输出，遗忘门则作用在上一时刻的状态向量上，用于过滤历史信息。其计算??方式分别如公....

图３－１联合糢型??本文采用双向ＬＳＴＭ模型作为文本表示编码的基本结构

下标ｔ?＝?０？７则表示第ｉ条输入中的第ｔ个字或词，ｗ／为当前输入的字??向量表示。该表示可以由外部语料预先训练得到，在本文中，该表示先随机初始??化，而后随着模型训练一同更新。如图３－１所示，联合模型将同时预测其时序标??签＼?ｓＡ｝与槽值类标ｙｆ。??Ｉ＂１?Ｉ??＜——ＬＳ....

本文编号：3921344