面向RNN语言模型基于主题与词特征的语义强化研究

发布时间：2020-08-03 19:31

【摘要】：语言模型是自然语言处理领域中的基础任务之一,同时也被应用在语音识别、对话系统、机器翻译、句法分析等多个文本处理任务上。随着神经网络的发展,语言模型逐渐从传统的N-gram语言模型,发展到现在主流的基于循环神经网络的语言模型。在循环神经网络(Recurrent Neural Network,RNN)语言模型中,通过共用循环结构体,序列中的历史信息得以被记录在网络中,但也因此出现远距离依赖问题,即远距离的语义信息在网络中被更新和覆盖,导致网络逐渐忘记了重要的远距离语义信息。语言是由语法与语义共同组成的,目前的RNN语言模型基本可以实现局部语法通顺,但很难保证语义丰富且明确。本文主要针对RNN语言模型语义表达较弱的问题,从主题特征与词特征两个角度进行语义强化,主要工作包括以下几个方面:(1)提出基于主题表征向量的语义强化方法TE-RNN。利用LDA主题模型与预训练的词向量,结合词的位置信息,优化主题表征向量的计算方式,为输入序列中的每个词提供准确的主题语义表示;(2)提出基于主题注意力分配的语义强化方法TA-RNN。不同于TE-RNN直接把主题表征向量拼接到网络输入中,TA-RNN通过构建语句级与段落级的主题注意力,将句子内部局部主题与段落中的全局主题动态分配给序列中的每个单词,为输入序列中的每个词提供准确的主题语义分配;(3)提出基于词权重特征的语义强化方法WD-RNN。由于在实际语料中停用词占比较高(70%左右),网络中充斥着“贫语义”的词信息。WD-RNN利用词的权重特征,构建weighted dropout层,在网络输入阶段抑制权重较低词的信息输入,在输出阶段增强权重较高词的神经元活力,强化了“富语义”词的信息在网络中记忆与传递。
【学位授予单位】：华侨大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.1;TP183
【图文】：

来源于人脑神经元细胞。人脑的神神经元，神经元进行处理，当满足为感知机，它是一个简单的线性模NNxxWbPerceptron( ) ininoutoutddddx R， W R,b R，W 表示权重矩阵，inoutd ,d分别表责接收数据，输出层对输入数据进出+1 或-1。由于简单的线性模型难入了非线性的激活函数，单层感知

多层神经网络

在循环神经网络中，网络共用同一个神经元结构来记录之前时刻在隐藏层之间的节点建立了连接，隐藏层的输入不仅只有输入层上一时刻隐藏层的输出。环神经网络的网络结构及其展开形式如下图 2.3 所示：

【参考文献】

相关期刊论文 前2条

1 张剑;屈丹;李真;;基于词向量特征的循环神经网络语言模型[J];模式识别与人工智能;2015年04期

2 黄永文,何中市;基于互信息的统计语言模型平滑技术[J];中文信息学报;2005年04期

本文编号：2780092