面向知识图谱的学习算法研究与应用
发布时间：2020-12-12 11:16
随着认知智能技术的深入发展,知识图谱俨然成为了大数据时代的一种重要的知识表示形式。在多个垂直领域,以数据分析、智慧搜索、智能推荐、自然人机交互为主的实际应用场景中,皆对知识图谱提出了客观的使用需求。与此同时,知识图谱作为实现机器认知智能的重要基石,同样是现阶段人工智能领域的热门研究课题。本文面向知识图谱构建与智能应用中的若干关键理论问题开展学习算法研究与实证分析。其中,从开放域环境中自动获取关系实例是构建大规模知识图谱的基础,精准地识别概念间的上下位关系是在纵向层面上扩展知识层级体系结构的关键,通过知识图谱表示学习可实现知识图谱数值化表示,得以让机器更好地处理并应用知识图谱进行知识计算。立足于文本数据,构建一套完整的领域知识图谱模型是一个极富挑战性的任务。本文的研究内容与主要贡献可总结为:第一,针对开放域场景下的实体关系抽取问题,提出了一个基于句法分析的开放关系抽取模型。该模型采用一种规则增强的句法分析方法,提高了对句子结构的分析能力,从而得到了更多具有高质量关系短语的三元组。再者,通过一种关系强度度量方法,从中进一步筛选出显著且有良好关系强度的三元组作为最终的抽取结果。我们在四个真实...
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：155 页
【学位级别】：博士
【部分图文】：
基于谷歌知识图谱搜索结果的示例片段首都，北京）和（北京市海淀区，邮政编码，100089）
电子科技大学博士学位论文图3-3增强依存路径的上下位关系预测模型。其中，每个候选下位词X到其上位词Y之间的依存路径（PathLSTM）可表示它们所在句子对应部分的lemma（词性还原）、POS（词性标注）、dependencylabel（依存标签）和direction（方向）的嵌入表示。op为通过LSTM对X和Y之间的多条PathLSTM进行编码后的结果，并经过池化操作得到vxy。vwx和vwy分别表示候选上位词和下位词自身的嵌入表示。通过拼接vxy、vwx和vwy，传递给softmax层计算X和Y之间具有上下位关系的概率上下位概念自身的嵌入表示，以及它们之间的差值进行拼接，作为特征来训练一个基于SVM的上下位关系分类器。Shwartz等人[82]利用长短时记忆网络（LongShortTermNetwork,LSTM）来编码候选上下位概念的依存路径，然后结合两个概念的词嵌入作为特征，协同训练混合神经网络对候选上下位关系进行分类，如图3-3所示。该模型采用端对端的方式进行训练，训练过程中的所有嵌入表示都会得到更新。在分布式学习的框架下，通过对以上三种典型的神经语言模型的深入分析，我们得到了以下启发：（1）传统的两阶段建模方法存在一定的局限性，例如中间过程的错误传播可能会导致模型总体性能的下降，而端对端的训练方式往往能够更好地利用实验数据；（2）DDM模型与DWNN模型中的基于投影的学习方法值得我们进一步借鉴并拓展；（3）在对序列信息的建模与表示方面，应充分利用LSTM模型等神经网络的性能优势。这些启发将指导我们设计新的神经网络模型，在接下来的章节中，我们将对此给出详细的说明。3.4概念定义驱动的上下位关系识别方法图3-4给出了本章提出的上下位关系预测模型的总体结构，从中可以看出，该模型自底而上可分为语句输入层、语句编码层、交互层和上下位关系预
电子科技大学博士学位论文(a)用于主题关系实例分类任务的top-k个特征(b)(c)(d)图5-3在新闻主题7中，主题关系实例分类任务的性能验证以及不同置信度阈值下，TCTF算法在测试集上的学习曲线关的因果关系，其主要通过以下三元组进行表现：(“aburgeoningrefugeecrisisinEurope”,“issparkedby”,“globalextremism”)，(“currentrefugeeflow”,“isrelevantto”,“aburgeoningrefugeecrisisinEurope”)，(“‘thecrisisinSyria”,“hasextended”,“currentrefugeeflow”)。考虑到另外一个例子，对于新闻主题13，即下一代搜索引擎，该概念知识图谱中为我们扼要介绍下一代搜索引擎中的相关挑战与机遇。它同样指出了AI技术在其中所扮演的重要角色。表现上述内容的三元组有：(“theincreasingchallengesandopportunities”,“areconsistof”,“enhancinguseraccess”)，(“insightengine”,“analyzes”,“userspastcontentinthebackground”)，(“AItechniques”,“arethecoreof”,“nextgenerationsearchengine”)。类似地，对于新闻主题15，即软件仓库管理，我们易于发现软件仓库和数据库系统在其中的重要性，其相关的属性与关系主要通过以下三元组进行表现：(“softwarewarehouse”,“performs”,“sourcecodecontrolling”)，(“database114
本文编号：2912452
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：155 页
【学位级别】：博士
【部分图文】：
基于谷歌知识图谱搜索结果的示例片段首都，北京）和（北京市海淀区，邮政编码，100089）
电子科技大学博士学位论文图3-3增强依存路径的上下位关系预测模型。其中，每个候选下位词X到其上位词Y之间的依存路径（PathLSTM）可表示它们所在句子对应部分的lemma（词性还原）、POS（词性标注）、dependencylabel（依存标签）和direction（方向）的嵌入表示。op为通过LSTM对X和Y之间的多条PathLSTM进行编码后的结果，并经过池化操作得到vxy。vwx和vwy分别表示候选上位词和下位词自身的嵌入表示。通过拼接vxy、vwx和vwy，传递给softmax层计算X和Y之间具有上下位关系的概率上下位概念自身的嵌入表示，以及它们之间的差值进行拼接，作为特征来训练一个基于SVM的上下位关系分类器。Shwartz等人[82]利用长短时记忆网络（LongShortTermNetwork,LSTM）来编码候选上下位概念的依存路径，然后结合两个概念的词嵌入作为特征，协同训练混合神经网络对候选上下位关系进行分类，如图3-3所示。该模型采用端对端的方式进行训练，训练过程中的所有嵌入表示都会得到更新。在分布式学习的框架下，通过对以上三种典型的神经语言模型的深入分析，我们得到了以下启发：（1）传统的两阶段建模方法存在一定的局限性，例如中间过程的错误传播可能会导致模型总体性能的下降，而端对端的训练方式往往能够更好地利用实验数据；（2）DDM模型与DWNN模型中的基于投影的学习方法值得我们进一步借鉴并拓展；（3）在对序列信息的建模与表示方面，应充分利用LSTM模型等神经网络的性能优势。这些启发将指导我们设计新的神经网络模型，在接下来的章节中，我们将对此给出详细的说明。3.4概念定义驱动的上下位关系识别方法图3-4给出了本章提出的上下位关系预测模型的总体结构，从中可以看出，该模型自底而上可分为语句输入层、语句编码层、交互层和上下位关系预
电子科技大学博士学位论文(a)用于主题关系实例分类任务的top-k个特征(b)(c)(d)图5-3在新闻主题7中，主题关系实例分类任务的性能验证以及不同置信度阈值下，TCTF算法在测试集上的学习曲线关的因果关系，其主要通过以下三元组进行表现：(“aburgeoningrefugeecrisisinEurope”,“issparkedby”,“globalextremism”)，(“currentrefugeeflow”,“isrelevantto”,“aburgeoningrefugeecrisisinEurope”)，(“‘thecrisisinSyria”,“hasextended”,“currentrefugeeflow”)。考虑到另外一个例子，对于新闻主题13，即下一代搜索引擎，该概念知识图谱中为我们扼要介绍下一代搜索引擎中的相关挑战与机遇。它同样指出了AI技术在其中所扮演的重要角色。表现上述内容的三元组有：(“theincreasingchallengesandopportunities”,“areconsistof”,“enhancinguseraccess”)，(“insightengine”,“analyzes”,“userspastcontentinthebackground”)，(“AItechniques”,“arethecoreof”,“nextgenerationsearchengine”)。类似地，对于新闻主题15，即软件仓库管理，我们易于发现软件仓库和数据库系统在其中的重要性，其相关的属性与关系主要通过以下三元组进行表现：(“softwarewarehouse”,“performs”,“sourcecodecontrolling”)，(“database114
本文编号：2912452
本文链接：https://www.wllwen.com/kejilunwen/zidonghuakongzhilunwen/2912452.html
