孪生网络编码器中融合句法结构信息的句子嵌入表示学习研究
发布时间：2021-06-07 02:15
自然语言处理研究是人工智能领域的核心难题,解决该问题的关键是如何让机器正确解析自然语言的语义,并获得某种形式的语义表示。由于自然语言中的句子是承载语义信息的主要单位,因此,准确解析句子语义是实现自然语言语义理解任务的关键。鉴于分布式词嵌入表示已经在机器翻译、自动摘要等自然语言处理任务上取得了成功的应用,人们很自然地想到能否将分布式表示扩展到句子、段落或篇章等长文本,即将句子、段落或篇章的语义表示映射至低维的连续空间。由于句子是组成段落和篇章的重要语言单位,它是由词语根据句法结构耦合得到,而现有的句子语义嵌入表示方法主要是基于句子中的词嵌入表示进行加权或求和平均,忽略了词序和句法结构信息,因此学习到的句子嵌入表示并不准确。本文主要针对当前句子嵌入表示学习中因为缺乏句法结构信息、以及句子长度过长导致的长距离依赖,致使句子嵌入表示不准确的问题,提出两种方法。第一种方法是基于句法结构化特征的句子嵌入表示学习方法,为了减少参数训练耗费的时间以及句子中非重要信息对于句子语义的影响,在构建句法结构树时,对于一些复杂的句法结构树进行相应的剪枝操作,并且将句法信息转化为权重计算。另一种方法是将词向量同句...
【文章来源】：华东交通大学江西省
【文章页数】：51 页
【学位级别】：硕士
【部分图文】：
PV-DM模型结构
图1-2 PV-DBOW模型结构Fig. 1-2 PV-DBOW model structure014 年提出了基于共现矩阵的词表示方法，通过不同并将向量应用到相似度检测中，该方法保留的短语量模型得到的语义信息，而 Hermann 则采取了不同、张量乘法等[5]。Jiwei Li[6]等人利用篇章级文本的句子进行编码，使用无须标注的数据集即可训练得-解码”模型框架的使用，Jiwei Li 在 2015 年又提自动编码器[7]，通过长短时记忆网络对句子进行编时记忆网络做为解码器，对句子向量进行解码得到提出了基于“编码-解码”框架的 Skip-Thought 模型组，首先对中间句子进行编码，然后根据编码得到子分别进行预测，该模型的缺点是要求输入的句子 Skip-Thought 模型进行修剪和优化，在编码层和解到的句子向量用于复述检测和文本分类任务。Hill
图 2-2 NNLM 模型结构图Fig. 2-2 NNLM Model Structurebert 等人在 NNLM 模型的基础上修改了神经网络词向量为目标的模型，该模型称作 C&W 模型[47]。大减少了模型训练的时间复杂度。与 NNLM 模型标词，输出层只有一个神经单元，用于对目标词进高分，没有出现过的通常会打低分。循环神经网络（Recurrent NeuraL Network,RNN）环神经网络语言模型[48-49]（Recurrent Neural Net，网络结构如下图 2-3 所示。由于循环神经网络由上一时刻的隐藏层和当前时刻的输入层联合计状态，相比NNLM模型每次只能利用n个词去预测分利用上文所有信息来预测下一个词。
【参考文献】：
期刊论文
[1]知识表示学习研究进展[J]. 刘知远,孙茂松,林衍凯,谢若冰. 计算机研究与发展. 2016(02)
[2]基于极性转移和LSTM递归网络的情感分析[J]. 梁军,柴玉梅,原慧斌,高明磊,昝红英. 中文信息学报. 2015(05)
[3]单词嵌入——自然语言的连续空间表示[J]. 陈恩红,邱思语,许畅,田飞,刘铁岩. 数据采集与处理. 2014(01)
硕士论文
[1]融合句法信息的句子嵌入表示学习方法及应用研究[D]. 陶兰.华东交通大学 2018
本文编号：3215638
【文章来源】：华东交通大学江西省
【文章页数】：51 页
【学位级别】：硕士
【部分图文】：
PV-DM模型结构
图1-2 PV-DBOW模型结构Fig. 1-2 PV-DBOW model structure014 年提出了基于共现矩阵的词表示方法，通过不同并将向量应用到相似度检测中，该方法保留的短语量模型得到的语义信息，而 Hermann 则采取了不同、张量乘法等[5]。Jiwei Li[6]等人利用篇章级文本的句子进行编码，使用无须标注的数据集即可训练得-解码”模型框架的使用，Jiwei Li 在 2015 年又提自动编码器[7]，通过长短时记忆网络对句子进行编时记忆网络做为解码器，对句子向量进行解码得到提出了基于“编码-解码”框架的 Skip-Thought 模型组，首先对中间句子进行编码，然后根据编码得到子分别进行预测，该模型的缺点是要求输入的句子 Skip-Thought 模型进行修剪和优化，在编码层和解到的句子向量用于复述检测和文本分类任务。Hill
图 2-2 NNLM 模型结构图Fig. 2-2 NNLM Model Structurebert 等人在 NNLM 模型的基础上修改了神经网络词向量为目标的模型，该模型称作 C&W 模型[47]。大减少了模型训练的时间复杂度。与 NNLM 模型标词，输出层只有一个神经单元，用于对目标词进高分，没有出现过的通常会打低分。循环神经网络（Recurrent NeuraL Network,RNN）环神经网络语言模型[48-49]（Recurrent Neural Net，网络结构如下图 2-3 所示。由于循环神经网络由上一时刻的隐藏层和当前时刻的输入层联合计状态，相比NNLM模型每次只能利用n个词去预测分利用上文所有信息来预测下一个词。
【参考文献】：
期刊论文
[1]知识表示学习研究进展[J]. 刘知远,孙茂松,林衍凯,谢若冰. 计算机研究与发展. 2016(02)
[2]基于极性转移和LSTM递归网络的情感分析[J]. 梁军,柴玉梅,原慧斌,高明磊,昝红英. 中文信息学报. 2015(05)
[3]单词嵌入——自然语言的连续空间表示[J]. 陈恩红,邱思语,许畅,田飞,刘铁岩. 数据采集与处理. 2014(01)
硕士论文
[1]融合句法信息的句子嵌入表示学习方法及应用研究[D]. 陶兰.华东交通大学 2018
本文编号：3215638
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/3215638.html
