基于知识库的自然语言理解

发布时间：2021-10-23 04:33

　　自然语言是人类进行信息交流和知识保存的重要工具,同时也是人机交互过程中最主要的形式。因此,让机器实现对自然语言的理解,是现阶段人工智能的重要发展方向,同时也是学术界的热门研究课题。自然界中存在的不同事物,以及事物之间的联系已是海量级别,随着互联网中以维基百科、IMDB等数据库为首的结构化信息的大量积累,用于组织和维护开放领域中海量知识的大规模结构化知识库应运而生。它们以标准化的符号存储了千万以上的实体、以及十亿以上实体之间具有的关系,成为了语义表达的有效载体,同时也引出了一系列基于知识库的自然语言理解研究。因此,本文针对描述客观事实的自然语言文本,利用知识库实现多个维度的语义理解。根据语义所体现的不同层次,本文从实体、关系和句子这三个层面研究自然语言理解问题。实体是语义中不可再分的元素,多个实体由关系互相连接构成基本事实,而句子往往包含着多个关系,具有更加复杂的整体语义。具体而言:实体层面的理解体现为直接匹配,将文本中代表实体的短语链接至知识库中的特定实体;关系层面的理解体现为结构匹配,将自然语言关系转换为由知识库关系（谓词）所构建的特定语义结构;句子层面的理解则对单一关系的结构匹配进... 

【文章来源】：上海交通大学上海市 211工程院校 985工程院校 教育部直属院校

【文章页数】：132 页

【学位级别】：博士

【部分图文】：

–2维基百科中的实体与表格链接

上海交通大学博士学位论文第一章引言图1–3搜索结果页面的右侧显示了当前实体的信息框。Figure1–3Theinfoboxattherightsideofsearchresultpages.匹配的方式进行收集，以保证较高的召回率。之后的映射步骤则是实体链接模型的重点，为了实现消歧义，需要利用短语所在文本的上下文特征，以及多个短语所映射的实体之间的关联程度，对于表格形式的文本输入，行列间实体所具有的特性也不可忽略。根据以上观察，以特征工程为核心的机器学习模型被运用于此，涵盖的特征主要包括基于维基内部超链接统计的先验概率，基于TF-IDF模型[14]的短语和实体的上下文相似度，基于PMI[15]、WLN[16]等以维基共现频率衡量的不同实体间的相关度，等等。考虑到特征设计耗费人力，且与特定任务高度相关，更新的工作对基于深度学习的实体链接模型进行了研究，模型依赖神经网络建立实体和短语上下文的特征表达，并计算向量表达之间的相似度衡量短语和实体的匹配程度。以文献[17]为代表，对于输入文本中的短语和维基百科中的实体，模型可以关注不同粒度的上下文，利用卷积神经网络或循环神经网络对文本进行建模。同时模型可以学习维基百科或知识库中，实体分类、类型等信息的向量表达，以此丰富实体的语义特征，例如文献[18-20]。此外，若文本和知识库的语言不同，则为跨语言场景的实体链接。通过翻译工具可以转化为单语言的实体链接，但受制于翻译步骤的准确率，因此主要的模型使用了跨语言的词向量技术[21]，将不同语言下的单词映射至同一连续语义空间。关系语义学习的研究，主要针对三元组级别，给定目标关系或谓词，根据它所已知的三元组信息，对其语义进行建模。按照关系语义的表示方法进行划分，主要研究可以分为规则推导和知识库向量学习两类。基于规则推导的模型?

第一章引言上海交通大学博士学位论文图1–4搜索引擎精确返回复杂问题的答案。Figure1–4Thesearchenginepreciselyreturnstheanswerofthecomplexquestion.!ê3ü33ú333ü333ò"ùaèùa×ù”éaùèaYaò3üúòüòùü3á÷!33ü333"ò3ú÷3áè!ê3ü3333"!3"3á÷!"3áèùàèYa”éaùèaYa1aèYèí”éaùèaYaü3üüü3÷üüúü图1–5实体、关系、句子语义理解之间的级联关系。Figure1–5Thecascadedrelationshipbetweenentity,relationandsentenceunderstanding.达式，单个表达式的语义具有确定性，同时人类可直接理解其语义表示，具有很高的可解释性。早期研究以AMIE模型[22]为代表，挖掘具有高置信度的规则，后续的改进研究着眼于挖掘多种可能的规则，并赋予不同权重或概率，丰富语义表达能力，例如基于MLN模型的文献[23,24]，以及生成负样本，对大量路径形式的规则进行特征学习的PRA模型[25]和SFE模型[26]。另一个分支为知识库向量模型，则依据已有的大量三元组信息，学习每一个实体和谓词的连续向量（或矩阵）表示，并通过实体和谓词表示之间—8—


本文编号：3452474