基于卷积神经网络的句子相似度计算方法研究与应用
发布时间：2021-06-19 15:45
句子相似度计算作为机器翻译、剽窃检测、查询排序及问题回答等诸多自然语言处理任务的基础,其准确性直接影响相关系统的性能,因而如何提升句子相似度计算的准确性成为亟待解决的问题。传统自然语言处理的方法主要利用人工指定的浅层特征,而基于神经网络模型的方法无需人工构造特征就可从大规模的文本中学习特征,进而获得句子的深层语义信息。由于卷积神经网络在提取特征时存在感受野狭小、卷积方式不灵活等问题,本文提出两种模型来改善上述问题,并研究了句子相似度计算在知识问答系统中的应用,主要研究内容包括以下三个方面:（1）提出了一种普通卷积和膨胀卷积结合的句子相似度计算模型CNN-IDCNN（Convolutional Neural Networks-Iterated Dilated Convolutional Neural Networks）。针对卷积神经网络在提取文本特征时感受野狭小、层级之间的池化方式存在信息损失的不足,提出了在普通卷积模块的基础上加入膨胀卷积模块的方式来提取句子长距离语义信息,让句子的特征表示包含词、短N-gram、长N-gram信息,从多个粒度丰富句子特征表示,从而提升相似度计算性能。（...
【文章来源】：重庆大学重庆市 211工程院校 985工程院校 教育部直属院校
【文章页数】：66 页
【学位级别】：硕士
【部分图文】：
Hu等人提出的基于卷积神经网络的句子表示方法（图片来源于文献[14]）
重庆大学硕士学位论文2句子表示的相关理论及技术10提取局部的语义组合信息，通过池化可以将高置信度的组合保留。图2.2Hu等人提出的基于卷积神经网络的句子表示方法（图片来源于文献[14]）Fig.2.2ThesentencerepresentationmethodbasedonconvolutionalneuralnetworkproposedbyHuetal(ThePictureComesFromLiterature[14])图2.3显示的是针对单一句子的模型过程，首先分别单独地对两个句子进行建模，从而得到两个相同且固定长度的向量，向量表示句子经过建模后抽象得来的特征信息，而后将这两个向量作为一个多层感知机的输入，最后计算句子匹配的分数。图2.3Hu等人提出的基于卷积神经网络的句子表示方法（图片来源于文献[14]）Fig.2.3ThesentencerepresentationmethodbasedonconvolutionalneuralnetworkproposedbyHuetal(ThePictureComesFromLiterature[14])图2.3所示的模型比较简单高效，但是存在一个较大的缺陷：即两个句子在建模中相互独立，不存在语义之间的信息交互，过早地失去了句子间语义交互计算
重庆大学硕士学位论文2句子表示的相关理论及技术10提取局部的语义组合信息，通过池化可以将高置信度的组合保留。图2.2Hu等人提出的基于卷积神经网络的句子表示方法（图片来源于文献[14]）Fig.2.2ThesentencerepresentationmethodbasedonconvolutionalneuralnetworkproposedbyHuetal(ThePictureComesFromLiterature[14])图2.3显示的是针对单一句子的模型过程，首先分别单独地对两个句子进行建模，从而得到两个相同且固定长度的向量，向量表示句子经过建模后抽象得来的特征信息，而后将这两个向量作为一个多层感知机的输入，最后计算句子匹配的分数。图2.3Hu等人提出的基于卷积神经网络的句子表示方法（图片来源于文献[14]）Fig.2.3ThesentencerepresentationmethodbasedonconvolutionalneuralnetworkproposedbyHuetal(ThePictureComesFromLiterature[14])图2.3所示的模型比较简单高效，但是存在一个较大的缺陷：即两个句子在建模中相互独立，不存在语义之间的信息交互，过早地失去了句子间语义交互计算
【参考文献】：
期刊论文
[1]采用词向量注意力机制的双路卷积神经网络句子分类模型[J]. 郭宝震,左万利,王英. 浙江大学学报(工学版). 2018(09)
[2]基于卷积记忆网络的视角级微博情感分类[J]. 廖祥文,谢媛媛,魏晶晶,桂林,程学旗,陈国龙. 模式识别与人工智能. 2018(03)
[3]基于卷积神经网络与多特征融合的Twitter情感分类方法[J]. 王汝娇,姬东鸿. 计算机工程. 2018(02)
[4]一种基于Tree-LSTM的句子相似度计算方法[J]. 杨萌,李培峰,朱巧明. 北京大学学报(自然科学版). 2018(03)
[5]一种针对句法树的混合神经网络模型[J]. 霍欢,张薇,刘亮,李洋. 中文信息学报. 2017(06)
[6]文本相似度计算方法研究综述[J]. 陈二静,姜恩波. 数据分析与知识发现. 2017(06)
[7]基于相似度算法的英语智能问答系统设计与实现[J]. 王文辉,吴敏华,骆力明,刘杰. 计算机应用与软件. 2017(06)
[8]基于支持向量机的中文文本蕴涵识别研究[J]. 李妍,刘茂福,姬东鸿. 计算机应用与软件. 2014(04)
[9]大规模语料库上的Stanford和Berkeley句法分析器性能对比分析[J]. 项炜,金澎. 电脑知识与技术. 2013(08)
[10]一种综合多特征的句子相似度计算方法[J]. 吴全娥,熊海灵. 计算机系统应用. 2010(11)
硕士论文
[1]基于非结构化文档的开放域自动问答系统技术研究[D]. 徐灿.浙江大学 2017
[2]基于结构化数据的双语自动问答系统研究与实现[D]. 刘至润.北京理工大学 2016
[3]自然语言处理中相关语义技术的研究[D]. 刘云芳.西南交通大学 2014
[4]问答对自动获取的研究[D]. 孟祥燕.昆明理工大学 2008
本文编号：3238092
【文章来源】：重庆大学重庆市 211工程院校 985工程院校 教育部直属院校
【文章页数】：66 页
【学位级别】：硕士
【部分图文】：
Hu等人提出的基于卷积神经网络的句子表示方法（图片来源于文献[14]）
重庆大学硕士学位论文2句子表示的相关理论及技术10提取局部的语义组合信息，通过池化可以将高置信度的组合保留。图2.2Hu等人提出的基于卷积神经网络的句子表示方法（图片来源于文献[14]）Fig.2.2ThesentencerepresentationmethodbasedonconvolutionalneuralnetworkproposedbyHuetal(ThePictureComesFromLiterature[14])图2.3显示的是针对单一句子的模型过程，首先分别单独地对两个句子进行建模，从而得到两个相同且固定长度的向量，向量表示句子经过建模后抽象得来的特征信息，而后将这两个向量作为一个多层感知机的输入，最后计算句子匹配的分数。图2.3Hu等人提出的基于卷积神经网络的句子表示方法（图片来源于文献[14]）Fig.2.3ThesentencerepresentationmethodbasedonconvolutionalneuralnetworkproposedbyHuetal(ThePictureComesFromLiterature[14])图2.3所示的模型比较简单高效，但是存在一个较大的缺陷：即两个句子在建模中相互独立，不存在语义之间的信息交互，过早地失去了句子间语义交互计算
重庆大学硕士学位论文2句子表示的相关理论及技术10提取局部的语义组合信息，通过池化可以将高置信度的组合保留。图2.2Hu等人提出的基于卷积神经网络的句子表示方法（图片来源于文献[14]）Fig.2.2ThesentencerepresentationmethodbasedonconvolutionalneuralnetworkproposedbyHuetal(ThePictureComesFromLiterature[14])图2.3显示的是针对单一句子的模型过程，首先分别单独地对两个句子进行建模，从而得到两个相同且固定长度的向量，向量表示句子经过建模后抽象得来的特征信息，而后将这两个向量作为一个多层感知机的输入，最后计算句子匹配的分数。图2.3Hu等人提出的基于卷积神经网络的句子表示方法（图片来源于文献[14]）Fig.2.3ThesentencerepresentationmethodbasedonconvolutionalneuralnetworkproposedbyHuetal(ThePictureComesFromLiterature[14])图2.3所示的模型比较简单高效，但是存在一个较大的缺陷：即两个句子在建模中相互独立，不存在语义之间的信息交互，过早地失去了句子间语义交互计算
【参考文献】：
期刊论文
[1]采用词向量注意力机制的双路卷积神经网络句子分类模型[J]. 郭宝震,左万利,王英. 浙江大学学报(工学版). 2018(09)
[2]基于卷积记忆网络的视角级微博情感分类[J]. 廖祥文,谢媛媛,魏晶晶,桂林,程学旗,陈国龙. 模式识别与人工智能. 2018(03)
[3]基于卷积神经网络与多特征融合的Twitter情感分类方法[J]. 王汝娇,姬东鸿. 计算机工程. 2018(02)
[4]一种基于Tree-LSTM的句子相似度计算方法[J]. 杨萌,李培峰,朱巧明. 北京大学学报(自然科学版). 2018(03)
[5]一种针对句法树的混合神经网络模型[J]. 霍欢,张薇,刘亮,李洋. 中文信息学报. 2017(06)
[6]文本相似度计算方法研究综述[J]. 陈二静,姜恩波. 数据分析与知识发现. 2017(06)
[7]基于相似度算法的英语智能问答系统设计与实现[J]. 王文辉,吴敏华,骆力明,刘杰. 计算机应用与软件. 2017(06)
[8]基于支持向量机的中文文本蕴涵识别研究[J]. 李妍,刘茂福,姬东鸿. 计算机应用与软件. 2014(04)
[9]大规模语料库上的Stanford和Berkeley句法分析器性能对比分析[J]. 项炜,金澎. 电脑知识与技术. 2013(08)
[10]一种综合多特征的句子相似度计算方法[J]. 吴全娥,熊海灵. 计算机系统应用. 2010(11)
硕士论文
[1]基于非结构化文档的开放域自动问答系统技术研究[D]. 徐灿.浙江大学 2017
[2]基于结构化数据的双语自动问答系统研究与实现[D]. 刘至润.北京理工大学 2016
[3]自然语言处理中相关语义技术的研究[D]. 刘云芳.西南交通大学 2014
[4]问答对自动获取的研究[D]. 孟祥燕.昆明理工大学 2008
本文编号：3238092
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3238092.html
最近更新
教材专著
