基于多级实体标注与语义增强表示的知识库问答研究
发布时间：2021-10-25 00:10
近年来,大规模开放领域的知识库如Freebase、DBpedia和Wikidata等发展迅速,基于知识库的自动问答技术已成为深度学习和自然语言处理领域的研究热点之一。知识库自动问答系统能回答用户的自然语言格式的问题,返回知识库中的答案,满足用户高效智能的搜索需求,提供自然直接的人机交互方式,具有重要的应用价值和研究意义。针对知识库简单问题问答,本文利用深度学习的方法将问句和知识库三元组表示成连续向量,计算问句和三元组的匹配度,包括候选答案生成和评分两个步骤。本文主要工作如下:问答系统根据问句主题实体从知识库中检索生成候选三元组。标注问句主题词是问答系统的第一步,影响着后续步骤的效果。以前的研究通常使用基于词、字符向量和神经网络的方法提取问句主题词,但仅使用词和字符向量无法完整表示问句的语义信息,不能区分歧义词,影响标注结果。本文提出了多级别语义表示的主题实体标注模型,通过问句词、字符嵌入和上下文表示学习问句的多级别语义信息。通过CNN网络学习的上下文的嵌入表示可以捕获到单词的上下文信息,为单词产生不同的向量表示,获得问句更完整的语义表示,也能更好地处理OOV问题。之后通过BiLSTM-...
【文章来源】：华中师范大学湖北省 211工程院校 教育部直属院校
【文章页数】：68 页
【学位级别】：硕士
【部分图文】：
图１．２智能问答示例??近年来，随着大规模开放领域知识图谱的出现，如ＷｉｋｉＤａｔａ１６１，Ｆｒｅｅｂａｓｅ１７１和??
ＣＮＮ）最早被应用在图像领域，其架构可以利用输入图像的２Ｄ??结构，通过本地连接，绑定权重，和某些形式的池化实现，具有平移不变的特性。??同时因为其共享参数等特点，需要的训练参数相对于其他学习算法更少。２０１４年，??Ｋｉｍ等［８Ｑ］最早将ＣＮＮ应用于文本分类任务，此后ＣＮＮ在ＮＬＰ领域取得了突破，??用于处理ＮＬＰ的各项任务。其主要有局部感知、参数共享和池化三个概念。??输入层?局部感知域?隐藏层??Ｏ?？ｌＯＴＪ?｜ｑ?ｑ?ｑ??〇？〇〇?§§／５§§??〇〇〇〇??图２．１局部感知域??在经典神经网络中，一个神经元会连接上一层和下一层的所有祌经元，这样??会导致在复杂网络中的训练参数非常多。在卷积神经网络中，输入神经元与隐藏??层进行小的、局部区域的连接，如图２．１所示，这个输入图像区域被称为隐藏神??经元的局部感知域。在卷积神经网络中每个隐藏神经元都有一个偏置和连接到它??的局部感知域的权值，在图２．１的局部感知域的权值为２＊２，所谓参数共享，就是??指隐藏层的４＊４个神经元都共享同一个２＊２的相同权值和一个倘差。共享权值和??偏差的一大优点是极大地减小了卷积网络涉及的参数数量。??Ｑ〇＼ｏ＾ｒ＾￣—ｍｎ??ｏｏ〇〇最大值池化??〇〇〇〇??图２．２最大值池化??池化层通常紧接着卷积层之后使用，简化从卷积层输出的信息，如图２．２所??示。池化层从卷积层获得每个特征映射的输出，并准备一个压缩的特征映射。一??个卷积层常常包含多个特征映射，分别对每个特征映射应用池化。池化常用的方??式是最大值池化，一个池化单元简单地输出输入区域内最大值的激活。??１３??
ＣＮＮ）最早被应用在图像领域，其架构可以利用输入图像的２Ｄ??结构，通过本地连接，绑定权重，和某些形式的池化实现，具有平移不变的特性。??同时因为其共享参数等特点，需要的训练参数相对于其他学习算法更少。２０１４年，??Ｋｉｍ等［８Ｑ］最早将ＣＮＮ应用于文本分类任务，此后ＣＮＮ在ＮＬＰ领域取得了突破，??用于处理ＮＬＰ的各项任务。其主要有局部感知、参数共享和池化三个概念。??输入层?局部感知域?隐藏层??Ｏ?？ｌＯＴＪ?｜ｑ?ｑ?ｑ??〇？〇〇?§§／５§§??〇〇〇〇??图２．１局部感知域??在经典神经网络中，一个神经元会连接上一层和下一层的所有祌经元，这样??会导致在复杂网络中的训练参数非常多。在卷积神经网络中，输入神经元与隐藏??层进行小的、局部区域的连接，如图２．１所示，这个输入图像区域被称为隐藏神??经元的局部感知域。在卷积神经网络中每个隐藏神经元都有一个偏置和连接到它??的局部感知域的权值，在图２．１的局部感知域的权值为２＊２，所谓参数共享，就是??指隐藏层的４＊４个神经元都共享同一个２＊２的相同权值和一个倘差。共享权值和??偏差的一大优点是极大地减小了卷积网络涉及的参数数量。??Ｑ〇＼ｏ＾ｒ＾￣—ｍｎ??ｏｏ〇〇最大值池化??〇〇〇〇??图２．２最大值池化??池化层通常紧接着卷积层之后使用，简化从卷积层输出的信息，如图２．２所??示。池化层从卷积层获得每个特征映射的输出，并准备一个压缩的特征映射。一??个卷积层常常包含多个特征映射，分别对每个特征映射应用池化。池化常用的方??式是最大值池化，一个池化单元简单地输出输入区域内最大值的激活。??１３??
【参考文献】：
期刊论文
[1]基于LSTM的大规模知识库自动问答[J]. 周博通,孙承杰,林磊,刘秉权. 北京大学学报(自然科学版). 2018(02)
[2]知识图谱技术综述[J]. 徐增林,盛泳潘,贺丽荣,王雅芳. 电子科技大学学报. 2016(04)
[3]基于表示学习的知识库问答研究进展与展望[J]. 刘康,张元哲,纪国良,来斯惟,赵军. 自动化学报. 2016(06)
[4]中医药知识图谱构建与应用[J]. 阮彤,孙程琳,王昊奋,方之家,殷亦超. 医学信息学杂志. 2016(04)
[5]知识表示学习研究进展[J]. 刘知远,孙茂松,林衍凯,谢若冰. 计算机研究与发展. 2016(02)
硕士论文
[1]基于深度学习的知识库问答技术研究[D]. 谢志文.华中师范大学 2018
本文编号：3456271
【文章来源】：华中师范大学湖北省 211工程院校 教育部直属院校
【文章页数】：68 页
【学位级别】：硕士
【部分图文】：
图１．２智能问答示例??近年来，随着大规模开放领域知识图谱的出现，如ＷｉｋｉＤａｔａ１６１，Ｆｒｅｅｂａｓｅ１７１和??
ＣＮＮ）最早被应用在图像领域，其架构可以利用输入图像的２Ｄ??结构，通过本地连接，绑定权重，和某些形式的池化实现，具有平移不变的特性。??同时因为其共享参数等特点，需要的训练参数相对于其他学习算法更少。２０１４年，??Ｋｉｍ等［８Ｑ］最早将ＣＮＮ应用于文本分类任务，此后ＣＮＮ在ＮＬＰ领域取得了突破，??用于处理ＮＬＰ的各项任务。其主要有局部感知、参数共享和池化三个概念。??输入层?局部感知域?隐藏层??Ｏ?？ｌＯＴＪ?｜ｑ?ｑ?ｑ??〇？〇〇?§§／５§§??〇〇〇〇??图２．１局部感知域??在经典神经网络中，一个神经元会连接上一层和下一层的所有祌经元，这样??会导致在复杂网络中的训练参数非常多。在卷积神经网络中，输入神经元与隐藏??层进行小的、局部区域的连接，如图２．１所示，这个输入图像区域被称为隐藏神??经元的局部感知域。在卷积神经网络中每个隐藏神经元都有一个偏置和连接到它??的局部感知域的权值，在图２．１的局部感知域的权值为２＊２，所谓参数共享，就是??指隐藏层的４＊４个神经元都共享同一个２＊２的相同权值和一个倘差。共享权值和??偏差的一大优点是极大地减小了卷积网络涉及的参数数量。??Ｑ〇＼ｏ＾ｒ＾￣—ｍｎ??ｏｏ〇〇最大值池化??〇〇〇〇??图２．２最大值池化??池化层通常紧接着卷积层之后使用，简化从卷积层输出的信息，如图２．２所??示。池化层从卷积层获得每个特征映射的输出，并准备一个压缩的特征映射。一??个卷积层常常包含多个特征映射，分别对每个特征映射应用池化。池化常用的方??式是最大值池化，一个池化单元简单地输出输入区域内最大值的激活。??１３??
ＣＮＮ）最早被应用在图像领域，其架构可以利用输入图像的２Ｄ??结构，通过本地连接，绑定权重，和某些形式的池化实现，具有平移不变的特性。??同时因为其共享参数等特点，需要的训练参数相对于其他学习算法更少。２０１４年，??Ｋｉｍ等［８Ｑ］最早将ＣＮＮ应用于文本分类任务，此后ＣＮＮ在ＮＬＰ领域取得了突破，??用于处理ＮＬＰ的各项任务。其主要有局部感知、参数共享和池化三个概念。??输入层?局部感知域?隐藏层??Ｏ?？ｌＯＴＪ?｜ｑ?ｑ?ｑ??〇？〇〇?§§／５§§??〇〇〇〇??图２．１局部感知域??在经典神经网络中，一个神经元会连接上一层和下一层的所有祌经元，这样??会导致在复杂网络中的训练参数非常多。在卷积神经网络中，输入神经元与隐藏??层进行小的、局部区域的连接，如图２．１所示，这个输入图像区域被称为隐藏神??经元的局部感知域。在卷积神经网络中每个隐藏神经元都有一个偏置和连接到它??的局部感知域的权值，在图２．１的局部感知域的权值为２＊２，所谓参数共享，就是??指隐藏层的４＊４个神经元都共享同一个２＊２的相同权值和一个倘差。共享权值和??偏差的一大优点是极大地减小了卷积网络涉及的参数数量。??Ｑ〇＼ｏ＾ｒ＾￣—ｍｎ??ｏｏ〇〇最大值池化??〇〇〇〇??图２．２最大值池化??池化层通常紧接着卷积层之后使用，简化从卷积层输出的信息，如图２．２所??示。池化层从卷积层获得每个特征映射的输出，并准备一个压缩的特征映射。一??个卷积层常常包含多个特征映射，分别对每个特征映射应用池化。池化常用的方??式是最大值池化，一个池化单元简单地输出输入区域内最大值的激活。??１３??
【参考文献】：
期刊论文
[1]基于LSTM的大规模知识库自动问答[J]. 周博通,孙承杰,林磊,刘秉权. 北京大学学报(自然科学版). 2018(02)
[2]知识图谱技术综述[J]. 徐增林,盛泳潘,贺丽荣,王雅芳. 电子科技大学学报. 2016(04)
[3]基于表示学习的知识库问答研究进展与展望[J]. 刘康,张元哲,纪国良,来斯惟,赵军. 自动化学报. 2016(06)
[4]中医药知识图谱构建与应用[J]. 阮彤,孙程琳,王昊奋,方之家,殷亦超. 医学信息学杂志. 2016(04)
[5]知识表示学习研究进展[J]. 刘知远,孙茂松,林衍凯,谢若冰. 计算机研究与发展. 2016(02)
硕士论文
[1]基于深度学习的知识库问答技术研究[D]. 谢志文.华中师范大学 2018
本文编号：3456271
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3456271.html
最近更新
教材专著
