基于深度注意神经网络的语义角色标注研究

发布时间：2021-03-23 14:04

　　近几年来,随着自然语言处理的快速发展,语义角色标注作为自然语言处理研究中最重要也是最基础的步骤也因此受到了极大的关注。深层神经网络被广泛应用于语义角色标注的任务当中,尤其是将深度注意神经网络模型应用于语义角色标注研究中,为语义角色标注带来了新的突破。但是随着深度注意神经网络的网络层数增加以及随着网络层数增加带来的横向神经元增加,导致了训练过程中出现训练不稳定问题以及梯度爆炸和梯度消失问题,在这种情况下,在语义角色标注系统中标注数据时,不仅耗时增加,还会出现卡顿现象。为了解决上述问题,本文针对深度注意神经网络模型进行了优化,加速了模型收敛速度,增强了网络稳定性及模型表达能力。实验结果表明本文方法能够有效解决随着神经网络层数的加深,梯度信息回流受阻造成的网络模型训练困难以及训练不稳定问题。本文还利用优化后的深度注意神经网络模型设计了语义角色标注系统。本文进行了基于深度注意神经网络的语义角色标注研究与实现,主要贡献如下:（1）针对由于神经网络层数增加导致的横向神经元增加带来的模型训练困难以及不稳定问题,本文引入了Layer Normalization函数来全局优化深度注意神经网络模型。该实验... 

【文章来源】：中北大学山西省

【文章页数】：67 页

【学位级别】：硕士

【部分图文】：

本文研究思路Figure1-1researchideasofthispaper

中北大学学位论文10图1-2论文架构图Figure1-2paperstructure1.4本章小结本章的主要内容主要包括介绍了该论文的研究背景和研究意义进行了详细说明，以及分别阐述了注意力机制和语义角色标注的国内外研究现状。除此之外还分析了语义角色标注研究的各种方法以及存在的问题，概括了本文的整体架构以及本论文的研究步骤和研究思路。

中北大学学位论文14似于编码器-解码器体系结构中常用的注意力机制。卷积本质上是捕获有关输入的重要信息的特征提取器。卷积神经网路是最基本也是最不可或缺的神经网络模型之一。2.1.4前馈神经网络前馈神经网络的使用早于其他类型的神经网络，是人工神经网络[50]的一种特殊类型，以设计简单著称。前馈神经网络分为输入层、隐藏层和输出层。信息总是在一个方向上传播——从输入层到输出层，从不倒退。前馈神经网络作为神经网络设计的一个主要实例，具有有限的体系结构。信号从输入层传递到附加层。一些前馈设计的例子甚至更简单。例如，单层感知器模型只有一层，前馈信号从一层移动到单独的节点。多层感知器模型具有更多的层，也是前馈的。前馈神经网络是受到一种生物学启发的分类算法。它由很大数量的简单神经元组成处理单元，并将这些处理单元分层组织。一层中的每个单元都与上一层中的所有单元相连。这些连接并不完全相同：每个连接可能具有不同的强度或重量。这些连接上的权重编码了网络。通常，神经网络中的单位也称为节点。数据进入输入并逐层通过网络，直接到达输出。在正常操作期间即当它用作分类器时，层与层之间没有反溃这就是为什么它们被称为前馈神经网络。如图2-1所示，我们看到一个2层网络的示例，该网络从上到下分别是：具有5个单元的输出层，具有4个单元的隐藏层和具有3个单元的输入层，这3个输入不属于网络的任何层，尽管有时将输入视为层号为0的虚拟层但并不是输出层的任何层都是隐藏层。因此，该网络具有1个隐藏层和1个输出层。该图还显示了不同层中单元之间的所有连接。一层仅连接到上一层。图2-1前馈神经网络Figure2-1feedforwardneuralnetwork

【参考文献】：
期刊论文
[1]基于深度神经网络的语义角色标注[J]. 王明轩,刘群.  中文信息学报. 2018(02)



本文编号：3095925