基于领域知识图谱的智能问答关键技术研究
发布时间：2021-10-24 07:22
为了适应日益增长的网络信息检索的工程应用,用于分析基于知识图谱的智能问答算法研究日趋活跃。知识图谱在智能化服务中发挥着重要作用,但是,复杂的语义关系给知识抽取带来了巨大的挑战,问答研究的准确性也还有待提高。为此,本文以知识图谱中的知识抽取作为研究课题,重点研究了不同场景下的关系抽取模型的实现技术和关系抽取对问答准确性的影响。本文主要工作和贡献如下:1.提出了基于Bi-LSTM的层次关系抽取模型。传统模型通常解决一般性分类问题,导致抽取结果的精度较低。本文利用关系标签之间的层次化语义信息进行建模,提出了使用层次化损失函数的抽取模型,弥补了模型在反向传播中语义特征不足的缺点。实验表明本文方法相比CNN、RNN等传统抽取模型能有效提升知识抽取的性能。2.提出了基于上下文注意力机制的少样本关系抽取模型。当前模型多是基于有监督的学习方法和远程监督,无法应用于数据不足时的使用场景。本文利用少样本学习方法,使用上下文注意力机制构建模型。实验结果表明本文方法在数据稀疏时仍然可以进行关系抽取。3.提出了基于知识嵌入注意力的问答模型。在使用知识图谱来完成问答任务时,关系预测是其中一项子任务。现有模型没有有...
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：82 页
【学位级别】：硕士
【部分图文】：
论文结构
第二章相关理论和工作7命名实体识别模型的主要架构如图2-2所示[18]，由词嵌入、双向长短时期记忆网络和条件随机场组成。首先，单词文本通过词嵌入成为词向量，然后输入到双向长短时期记忆网络中。il代表单词i与它的上文，ir代表单词i与它的下文，把这两者联系起来，用ic代表单词i与它的上下文。图2-2命名实体识别模型架构[18]1.Word2Vec词嵌入Word2Vec[19]是Google在2013年推出的一个NLP工具，它的特点是将所有的词向量化，表示为一个低维稠密的数值向量，便于计算机进行处理。词的向量化形式可以使得词与词之间定量的去度量他们之间的关系，挖掘词之间的联系。Word2Vec可以利用两种模型架构中的任何一种来生成单词的分布式表示：CBOW模型或Skip-gram模型。如果一个词语的上下文作为输入，来预测这个词语本身，就是CBOW模型；而用一个词语作为输入，来预测它周围的上下文，则是Skip-gram模型。因为直接使用神经网络来得到词向量语言模型的方法涉及的参数太多，使得数据量大，计算效率低；所以Word2Vec在实际训练时采用的是两种改进方法，一种是基于霍夫曼树层层分类的HierarchicalSoftmax方法；另一种是针对于在霍夫曼树中存在生僻词的层次过深而带来效率低的问题所提出的NegativeSampling方法。2.Bi-LSTM特征抽取Bi-LSTM表示双向长短期记忆网络（BidirectionalLongShort-TermMemory，通常简写为Bi-LSTM）[20]它是循环神经网络的一种，适用于处理序列化的数据。设输入的向量序列为(1,2,…)，将输出另一个序列为(1,2,…)，它代表输入序列每一步的信息。长短时记忆网络被设计成增加缓存单元以解决长期依赖关系中梯度消失的问题，它使用输入门来控制当前时刻输入到缓存单元的比例，使用
电子科技大学硕士学位论文10图2-4CNN关系抽取模型架构[21]1.词嵌入在神经网络中首先需要对单词进行处理，将每个单词转化为一个特殊的向量。研究表明，从大量未标记数据中学习到的单词嵌入比随机初始化的嵌入得到的效果要好很多，利用大量的未标注数据，使其承载更多的句法和语义信息。所以通常会采用词向量预训练的方式，可以使用的预训练模型有Word2Vec[19]和Glove[23]。得到预训练模型后，将所有的训练数据中的单词构建成一个单词表，通过查找单词嵌入，将每个输入单词标记转换为一个向量。2.词特征词汇层特征是决定关系的重要线索，它主要包括单词本身、词的类型信息和词与词之间的相对位置，其质量很大程度上取决于现有工具的结果。这里，选用的词特征包括：实体1、实体2、实体1的上一个词和下一个词、实体2的上一个词和下一个词。3.位置特征为了能够更好地提升抽取的性能，有必要指定哪些输入标记是句子中的目标名词，我们加入了每个词与实体之间相对位置距离作为位置特征。比如，在句子"The<e1>author</e1>ofakeygenusesa<e2>disassembler</e2>tolookattherawassemblycode."中，单词The与实体author的相对位置距离是-1，单词of与实体author的相对位置距离是1；单词The与实体disassembler的相对位置距离是-7，单词of与实体disassembler的相对位置距离是-5。当得到各个词的位置特征后，将
【参考文献】：
期刊论文
[1]基于密集连接卷积神经网络的远程监督关系抽取[J]. 钱小梅,刘嘉勇,程芃森. 计算机科学. 2020(02)
[2]基于多角度注意力机制的单一事实知识库问答方法[J]. 罗达,苏锦钿,李鹏飞. 计算机科学. 2019(10)
[3]基于注意力和字嵌入的中文医疗问答匹配方法[J]. 陈志豪,余翔,刘子辰,邱大伟,顾本刚. 计算机应用. 2019(06)
[4]知识图谱技术综述[J]. 徐增林,盛泳潘,贺丽荣,王雅芳. 电子科技大学学报. 2016(04)
[5]基于表示学习的知识库问答研究进展与展望[J]. 刘康,张元哲,纪国良,来斯惟,赵军. 自动化学报. 2016(06)
[6]知识图谱构建技术综述[J]. 刘峤,李杨,段宏,刘瑶,秦志光. 计算机研究与发展. 2016(03)
[7]知识表示学习研究进展[J]. 刘知远,孙茂松,林衍凯,谢若冰. 计算机研究与发展. 2016(02)
[8]开放式信息抽取研究进展[J]. 杨博,蔡东风,杨华. 中文信息学报. 2014(04)
博士论文
[1]面向小样本不平衡数据的生物医学事件抽取方法研究[D]. 路扬.吉林大学 2019
[2]基于深度学习的联合实体关系抽取[D]. 孙长志.华东师范大学 2019
[3]基于注意力机制与高层语义的视觉问答研究[D]. 于东飞.中国科学技术大学 2019
[4]图像内容的语义描述与理解[D]. 袁爱红.中国科学院大学(中国科学院西安光学精密机械研究所) 2018
本文编号：3454845
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：82 页
【学位级别】：硕士
【部分图文】：
论文结构
第二章相关理论和工作7命名实体识别模型的主要架构如图2-2所示[18]，由词嵌入、双向长短时期记忆网络和条件随机场组成。首先，单词文本通过词嵌入成为词向量，然后输入到双向长短时期记忆网络中。il代表单词i与它的上文，ir代表单词i与它的下文，把这两者联系起来，用ic代表单词i与它的上下文。图2-2命名实体识别模型架构[18]1.Word2Vec词嵌入Word2Vec[19]是Google在2013年推出的一个NLP工具，它的特点是将所有的词向量化，表示为一个低维稠密的数值向量，便于计算机进行处理。词的向量化形式可以使得词与词之间定量的去度量他们之间的关系，挖掘词之间的联系。Word2Vec可以利用两种模型架构中的任何一种来生成单词的分布式表示：CBOW模型或Skip-gram模型。如果一个词语的上下文作为输入，来预测这个词语本身，就是CBOW模型；而用一个词语作为输入，来预测它周围的上下文，则是Skip-gram模型。因为直接使用神经网络来得到词向量语言模型的方法涉及的参数太多，使得数据量大，计算效率低；所以Word2Vec在实际训练时采用的是两种改进方法，一种是基于霍夫曼树层层分类的HierarchicalSoftmax方法；另一种是针对于在霍夫曼树中存在生僻词的层次过深而带来效率低的问题所提出的NegativeSampling方法。2.Bi-LSTM特征抽取Bi-LSTM表示双向长短期记忆网络（BidirectionalLongShort-TermMemory，通常简写为Bi-LSTM）[20]它是循环神经网络的一种，适用于处理序列化的数据。设输入的向量序列为(1,2,…)，将输出另一个序列为(1,2,…)，它代表输入序列每一步的信息。长短时记忆网络被设计成增加缓存单元以解决长期依赖关系中梯度消失的问题，它使用输入门来控制当前时刻输入到缓存单元的比例，使用
电子科技大学硕士学位论文10图2-4CNN关系抽取模型架构[21]1.词嵌入在神经网络中首先需要对单词进行处理，将每个单词转化为一个特殊的向量。研究表明，从大量未标记数据中学习到的单词嵌入比随机初始化的嵌入得到的效果要好很多，利用大量的未标注数据，使其承载更多的句法和语义信息。所以通常会采用词向量预训练的方式，可以使用的预训练模型有Word2Vec[19]和Glove[23]。得到预训练模型后，将所有的训练数据中的单词构建成一个单词表，通过查找单词嵌入，将每个输入单词标记转换为一个向量。2.词特征词汇层特征是决定关系的重要线索，它主要包括单词本身、词的类型信息和词与词之间的相对位置，其质量很大程度上取决于现有工具的结果。这里，选用的词特征包括：实体1、实体2、实体1的上一个词和下一个词、实体2的上一个词和下一个词。3.位置特征为了能够更好地提升抽取的性能，有必要指定哪些输入标记是句子中的目标名词，我们加入了每个词与实体之间相对位置距离作为位置特征。比如，在句子"The<e1>author</e1>ofakeygenusesa<e2>disassembler</e2>tolookattherawassemblycode."中，单词The与实体author的相对位置距离是-1，单词of与实体author的相对位置距离是1；单词The与实体disassembler的相对位置距离是-7，单词of与实体disassembler的相对位置距离是-5。当得到各个词的位置特征后，将
【参考文献】：
期刊论文
[1]基于密集连接卷积神经网络的远程监督关系抽取[J]. 钱小梅,刘嘉勇,程芃森. 计算机科学. 2020(02)
[2]基于多角度注意力机制的单一事实知识库问答方法[J]. 罗达,苏锦钿,李鹏飞. 计算机科学. 2019(10)
[3]基于注意力和字嵌入的中文医疗问答匹配方法[J]. 陈志豪,余翔,刘子辰,邱大伟,顾本刚. 计算机应用. 2019(06)
[4]知识图谱技术综述[J]. 徐增林,盛泳潘,贺丽荣,王雅芳. 电子科技大学学报. 2016(04)
[5]基于表示学习的知识库问答研究进展与展望[J]. 刘康,张元哲,纪国良,来斯惟,赵军. 自动化学报. 2016(06)
[6]知识图谱构建技术综述[J]. 刘峤,李杨,段宏,刘瑶,秦志光. 计算机研究与发展. 2016(03)
[7]知识表示学习研究进展[J]. 刘知远,孙茂松,林衍凯,谢若冰. 计算机研究与发展. 2016(02)
[8]开放式信息抽取研究进展[J]. 杨博,蔡东风,杨华. 中文信息学报. 2014(04)
博士论文
[1]面向小样本不平衡数据的生物医学事件抽取方法研究[D]. 路扬.吉林大学 2019
[2]基于深度学习的联合实体关系抽取[D]. 孙长志.华东师范大学 2019
[3]基于注意力机制与高层语义的视觉问答研究[D]. 于东飞.中国科学技术大学 2019
[4]图像内容的语义描述与理解[D]. 袁爱红.中国科学院大学(中国科学院西安光学精密机械研究所) 2018
本文编号：3454845
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3454845.html
最近更新
教材专著
