基于深度学习的文本蕴含技术研究
发布时间：2021-09-05 23:05
自然语言中的推理关系,又称为文本蕴含关系,是一种基本的文本间语义联系,广泛存在于自然语言文本中。很多信息处理任务或多或少地都需要面对包含蕴含关系的文本。如果有一种技术能够处理其中的蕴含关系,那这种技术就能够为这些任务提供助力。因此,文本蕴含相关研究是自然语言处理领域的一项基础性工作,可以辅助其他信息处理任务的进行,并且具有丰富的应用场景。一般的二元关系研究,通常围绕二元关系的识别、抽取、生成这三个基本研究任务展开。类似地,作为一种二元关系,文本蕴含也有3个基本研究任务——文本蕴含关系识别（又称为自然语言推理）、文本蕴含知识挖掘和文本蕴含后件生成。尽管取得了不错的进展,但之前的有关研究存在一些局限:（1）文本蕴含关系识别模型复杂,难于训练;（2）自然语言推理方法不能有效地结合知识;（3）蕴含知识的挖掘不能同时兼顾覆盖率与准确率;（4）文本蕴含的生成不能有效保留重要信息,同时缺少客观的评价指标。本文针对已有方法在这三个基本研究任务中存在的四个问题展开,分别提出了四种模型,均在公开的数据集上取得了当时最高成绩。本文基本研究内容如下:1.基于高斯Transformer的文本蕴含识别研究:目前基...
【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校
【文章页数】：135 页
【学位级别】：博士
【部分图文】：
文本蕴含关系识别的核心问题
4.文本蕴含后件生成研究中,基于编码器-解码器的方法已经领先了基于规则改写的算法,但是这种方法常常遗忘原句中的有效信息,并倾向于生成短句。同时,该任务也缺少合理的评价指标。针对以上现有研究中存在的问题,我们提出了具体的解决方案:
高斯自注意力机制的提出基于如下观察:对于当前的短语的语义来说,临近的单词的贡献要大于距离较远的单词的贡献。例如,句子“I bought a new book yesterday with a new friend in New York.”中,对于单词“book”来讲,第一个“new”的重要性要大于其他两个“new”。循环神经网络和卷积神经网络可以内在的建模这种现象,因为循环神经网络倾向于忘记距离较远的输入,而卷积神经网络会直接排除掉所有不在当前卷积窗口内的单词。但是,原始Transformer由于不存在循环或卷积的结构,仅仅依赖自注意力机制是无法建模这种现象的。如图2-1(a)所示,在计算自注意力机制的权重时,相同的单词(比如new)能获得相同的权重,尽管他们距离当前单词(图中的book)的距离并不相同。我们为此提出了基于距离的高斯先验来解决这一问题,如图2-1(b)(c)所示。尽管原始的Transformer中存在位置编码(Position Encoding)似乎能够缓解这一问题,但是我们的实验表明,高斯先验的效果更好。在建模文本的局部信息的同时,我们通过堆叠多层高斯注意力网络来建模句子中的长距离依赖信息。
【参考文献】：
期刊论文
[1]基于知识话题模型的文本蕴涵识别[J]. 任函,盛雅琦,冯文贺,刘茂福. 中文信息学报. 2015(06)
[2]基于文本蕴含的选择类问题解答技术研究[J]. 王宝鑫,郑德权,王晓雪,赵姗姗,赵铁军. 北京大学学报(自然科学版). 2016(01)
[3]基于混合主题模型的文本蕴涵识别[J]. 盛雅琦,张晗,吕晨,姬东鸿. 计算机工程. 2015(05)
[4]多特征文本蕴涵识别研究[J]. 赵红燕,刘鹏,李茹,王智强. 中文信息学报. 2014(02)
[5]基于FrameNet框架关系的文本蕴含识别[J]. 张鹏,李国臣,李茹,刘海静,石向荣,Collin Baker. 中文信息学报. 2012(02)
本文编号：3386253
【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校
【文章页数】：135 页
【学位级别】：博士
【部分图文】：
文本蕴含关系识别的核心问题
4.文本蕴含后件生成研究中,基于编码器-解码器的方法已经领先了基于规则改写的算法,但是这种方法常常遗忘原句中的有效信息,并倾向于生成短句。同时,该任务也缺少合理的评价指标。针对以上现有研究中存在的问题,我们提出了具体的解决方案:
高斯自注意力机制的提出基于如下观察:对于当前的短语的语义来说,临近的单词的贡献要大于距离较远的单词的贡献。例如,句子“I bought a new book yesterday with a new friend in New York.”中,对于单词“book”来讲,第一个“new”的重要性要大于其他两个“new”。循环神经网络和卷积神经网络可以内在的建模这种现象,因为循环神经网络倾向于忘记距离较远的输入,而卷积神经网络会直接排除掉所有不在当前卷积窗口内的单词。但是,原始Transformer由于不存在循环或卷积的结构,仅仅依赖自注意力机制是无法建模这种现象的。如图2-1(a)所示,在计算自注意力机制的权重时,相同的单词(比如new)能获得相同的权重,尽管他们距离当前单词(图中的book)的距离并不相同。我们为此提出了基于距离的高斯先验来解决这一问题,如图2-1(b)(c)所示。尽管原始的Transformer中存在位置编码(Position Encoding)似乎能够缓解这一问题,但是我们的实验表明,高斯先验的效果更好。在建模文本的局部信息的同时,我们通过堆叠多层高斯注意力网络来建模句子中的长距离依赖信息。
【参考文献】：
期刊论文
[1]基于知识话题模型的文本蕴涵识别[J]. 任函,盛雅琦,冯文贺,刘茂福. 中文信息学报. 2015(06)
[2]基于文本蕴含的选择类问题解答技术研究[J]. 王宝鑫,郑德权,王晓雪,赵姗姗,赵铁军. 北京大学学报(自然科学版). 2016(01)
[3]基于混合主题模型的文本蕴涵识别[J]. 盛雅琦,张晗,吕晨,姬东鸿. 计算机工程. 2015(05)
[4]多特征文本蕴涵识别研究[J]. 赵红燕,刘鹏,李茹,王智强. 中文信息学报. 2014(02)
[5]基于FrameNet框架关系的文本蕴含识别[J]. 张鹏,李国臣,李茹,刘海静,石向荣,Collin Baker. 中文信息学报. 2012(02)
本文编号：3386253
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3386253.html
