基于张量分解的知识图谱融合研究及其在对话中的应用

发布时间：2020-11-02 14:00

　　 互联网的极速发展带来了信息的爆炸式增长及其结构的杂乱无章。为此,知识图谱应运而生并获得了长足的发展。现如今,知识图谱被普遍应用于搜索引擎,推荐系统,智能问答,对话系统等领域中。本文主要侧重于知识图谱在任务型对话系统中的应用。在实际应用中,一个任务型对话系统一般会涉及多个领域的知识,分别对应着不同领域的知识库。这些知识库往往有着不同的来源。这些不同的知识源往往会由不同的技术人员进行维护,且具有异构的分布和属性。这会导致知识库很难甚至无法直接应用于任务型对话系统中。所以,我们需要借助于知识融合模型,将这些异源的知识库融合为一个知识库,然后再将融合后的知识库应用于任务型对话系统中。在任务型对话系统中,用户的意图识别具有非常重要的作用。准确地理解用户的意图可以加快解决用户的问题,提升用户的对话体验。然而,当前很多研究选择采用深度神经网络作为意图识别分类器。这种分类器是一个黑匣子,缺乏可解释性。而知识图谱则富含大量的结构化的知识,为意图识别模型的可解释性提供了可能。因此,在基于知识图谱的任务型对话系统中,知识融合和基于知识图谱的用户的意图识别成为了两个至关重要的技术。其中,知识融合是构建基于知识图谱的对话系统的理论基础。用户的意图识别则是任务型对话中不可或缺的一部分。于是,本文主要对知识融合和基于知识图谱的用户意图识别展开研究。首先,本文以融合具有部分-整体关系的知识图谱为例,对具有大量完全独立的连通分支,并且训练集和测试集之间没有重叠实体的知识图谱融合进行研究。为了解决此类问题,我们引入了相似度作为辅助信息,并提出了一种基于三元组张量和相似度矩阵进行联合分解的模型。其中,由于知识图谱中关系的独立性,模型使用RESCAL方法对三元组张量进行分解。之后,我们采用交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)对模型进行优化。在实验中,通过和RESCAL模型以及TransE系列的模型进行对比,本文提出的模型在准确率上表现了最好的效果,很好地解决了即将融合的知识图谱中具有大量完全独立的连通分支,以及训练集和测试集之间没有重叠实体的问题。借助于知识融合技术,我们可以将多个领域的知识库融合为一个知识库,并应用于任务型对话系统中。在任务型对话系统中,知识图谱能够帮助系统快速准确地识别用户的意图,并使得系统具有很强的可解释性。因此,本文提出了基于意图图谱的用户意图识别模型。该模型将融合后的多领域知识库转换为表示用户意图的知识图谱,即意图图谱。然后,模型使用强化学习的方法在图谱中进行推理来获取合适的路径。该路径中的最后一个节点即为用户的意图。在实验中,通过和监督学习的模型对比,该模型在表现出较高的意图识别准确率的同时,具备了很强的可解释性。这有助于我们能够快速了解模型产生的错误样例,并及时提出方法进行改进。综上所述,本文主要围绕知识图谱在任务型对话系统中的两个关键技术展开研究。这两个技术为知识融合和基于知识图谱的用户意图识别。其中,知识融合是构建基于知识图谱的对话系统的理论基础。为了便于在任务型对话中使用多领域知识库,我们使用知识融合技术将多领域知识库融合为一个知识库。用户的意图识别则是任务型对话中不可或缺的一部分。知识图谱的应用使得用户的意图识别模型具有很强的可解释性。首先,我们提出了张量和矩阵的联合分解模型,对具有大量完全独立的连通分支,并且训练集和测试集之间没有重叠实体的知识图谱进行融合。之后,我们基于融合后的知识图谱提出了用户的意图识别模型。该模型将融合后的多领域知识库转换意图图谱,并使用了强化学习的方式生成路径,对应于用户的意图。这两种模型都具有很好的实验结果。不过它们还有很多的提升空间。例如知识融合模型产生的一些错误样例是有悖于常识;意图识别模型在准确率上仍然不如监督学习模型等。这些都需要我们进一步的深入研究。
【学位单位】：山东大学
【学位级别】：硕士
【学位年份】：2020
【中图分类】：TP391.1;TP181
【部分图文】：

的形式存在。其基本格式为【实体／，关??系，实体２】或者【概念，属性，属性值】。在本文中，我们统一使用【头部实体，关??系，尾部实体】来表不。??Ｉ???知＿识融合ｉ?｜?任筘型Ａ活系统Ｉ??Ｉ?Ｉ?Ｉ??知识库２￣＾?？［知识图谱２１—知识图谱）卜听Ｈ对话状１——＞１对话策略学习１１??，知识库ｉ?图谱ｎ?１￣?ｉ?！?［?］?Ｉ自然语＇言生成１?ｉ??ｉ?????????????！?Ｉ?????????????！??图１．１：基于知识图谱的多轮对话流程??由于知识图谱能够对知识进行结构化，便于人们方便获取并理解知识，所以知识??图谱有着很广泛的应用［２］，包括搜索引擎，推荐系统，智能问答，对话系统等应用??方向。本文则重点关注于知识图谱在任务型对话系统中的应用。然而，如图１．１所示，??一个任务型对话系统往往需要多个领域的知识，这些知识都分别对应着不同领域的??知识库。而且这些知识通常出自于不同的来源。例如在企业的智能客服系统中，我们??需要知识图谱涵盖着该企业中所有业务的知识。每个业务的知识图谱通常由不同的??业务组维护。这些不同的知识源往往会具有异构的分布和属性。这会需要系统将多个??一?１?－??

为了解决具有大量完全独立连通分支，并且训练和测试集实体之间没有重叠的??知识图谱之间的融合，我们提出了使用三阶张量模型去预测头部实体和尾部实体之??间的关系。这个三阶张量表示为ＸｅＲｈｈｘ。根据第１．２．１节中所讲述的，我们额外??添加了实体之间的相似度量作为辅助信息，帮助模型去预测实体之间的关系。这些相??似信息是以相似度矩阵表现的，用符号表示为Ｐ?ｅ?Ｒ〃７。??３．１模型介绍??图３．１展示了使用头部实体ｘ尾部实体ｘ关系三元组张量和头部实体ｘ尾部实??体相似度矩阵进行联合分解的模型图。??

？＾ｄｏｇ＾???ｐａｒｔ?ｏｆ?＾ｌｅｇ＾??ｐａｒｔ?ｒｆ?＂＾ｄｏｇ＾ｊ???ｐａｒｔ?ｏｆ?＾ｄｏｇ＾ｊ??ｊｓａ?＿?■?＿＋?相ｆ５Ｓ＊??＾ｎｏｓｏ＾?ｐａｒｔ?ｏｆ??ｐａｒｔ?ｏｆ?＾ｎ〇Ｂｅ＾?ｐ？ｒｔ?ｏｆ?＾?＾ｎｏｓｅ＾?ｐ？ｒｔ?ｏｆ???Ｉ?Ｉ?Ｉ???ｉ???ｉ???＿ｉ＿???＾ｎｏｇｅ＾?ｌ？ｔ?ｏｆ?？＾ｄｏｇ＾?＾ｎ〇Ｂｅ＾｜?ｐａｒｔ?ｏｆ?＾ｎｏｓｅ＾ｊ?ｐａｒｔ?ｏｆ?？＾ｄｏｇ＾??（ａ）?（ｂ）??图３．２：?（ａ）知识图谱补全方法示例。左图为输入实例，右图展示了由于知识图谱缺??乏连接导致实体间的关系无法预测的实例。（ｂ）?—个由本文提出的模型进行预测的??实例。??度的模型（ＬＩＮ和ＪＣＮ）在准确率方面表现得非常不好。??错误分析最后，我们发现，本文提出的知识融合模型中的某些错误情况是由不正??确的归纳导致的。例如头部实体“ｔａｉｌ．ｎ．０１”（动物的尾巴）和尾部实体“ａｎｔ．ｎ．Ｏｌ”（蚂??蚁），根据相似度矩阵，它们会被模型预测为彳关系。然而，根据常识得??知，蚂蚁并没有尾巴。我们认为，这类错误是由于不正确的归纳导致的。这也可能是??因为相似度连接是无向的。在将来的工作中，我们可以考虑修改相似度矩阵或合并其??他约束来避免此类错误。??３．６本章小结??知识融合方法在整个基于知识图谱的任务型对话系统中具有关键作用，是其理??论基矗由于一个对话系统中往往会包含多个领域的知识图谱。这些知识图谱通常具??有不同的结构，由不同的人员维护。因此，在知识图谱应用于对话系统前，我们需要??使用知识融合方法将多个领域的知识图谱融合为一个知识
【相似文献】

相关期刊论文 前10条

1 张观林;欧阳纯萍;邹银凤;周志锋;;知识图谱及其在医疗领域的应用[J];湖南科技学院学报;2016年10期

2 黄薇;;知识图谱应用于学科知识服务初探[J];福建图书馆理论与实践;2014年03期

3 武斌;张宾;周晶;孙博;贾江凯;;知识图谱在电力领域的应用与思考[J];科技经济导刊;2020年16期

4 宋卿;戚成琳;张鹏洲;;知识图谱技术在新闻领域中的应用思考[J];中国传媒科技;2016年05期

5 先兴平;吴涛;;知识图谱与网络表示学习[J];产业与科技论坛;2016年17期

6 翟倩;祝琳琳;;基于文献计量的国内知识图谱研究综述[J];图书馆学研究;2016年18期

7 林强;;知识图谱在档案学中的应用综述与评价[J];档案与建设;2014年11期

8 吴运兵;杨帆;赖国华;林开标;;知识图谱学习和推理研究进展[J];小型微型计算机系统;2016年09期

9 李畅;;构建操作系统教程知识图谱[J];电脑知识与技术;2020年02期

10 刘芳;谢靖;;以藏品为核心的知识图谱设计与应用[J];数字图书馆论坛;2020年06期

相关博士学位论文 前10条

1 丽丽;蒙古文化知识图谱的构建与研究[D];内蒙古大学;2020年

2 赵宇;知识图谱自动演进算法研究[D];北京邮电大学;2017年

3 王桢;基于嵌入模型的知识图谱补全[D];中山大学;2017年

4 武国胜;福建省生态环境时空格局信息图谱研究[D];福建师范大学;2006年

5 王莉;基于知识图谱的城市轨道交通建设安全管理智能知识支持研究[D];中国矿业大学;2019年

6 刘伟;人脑三维弥散张量影像数字化统计图谱研究[D];中国科学技术大学;2012年

7 蒋菲;新世纪中国课程与教学论的知识图谱研究[D];湖南师范大学;2014年

8 陈曦;面向大规模知识图谱的弹性语义推理方法研究及应用[D];浙江大学;2017年

9 汪洋;山地人居环境空间信息图谱—理论与实证[D];重庆大学;2012年

10 芮建勋;基于遥感影像的城市景观信息图谱及其模型系统研究[D];华东师范大学;2006年

相关硕士学位论文 前10条

1 郝增光;基于张量分解的知识图谱融合研究及其在对话中的应用[D];山东大学;2020年

2 胡超杰;基于知识图谱的几何问题自动求解系统设计与实现[D];电子科技大学;2020年

3 孙驰;基于微博的知识图谱的构建与研究[D];西华大学;2015年

4 李光明;初中化学学科知识图谱的构建与可视化查询系统的实现[D];上海师范大学;2020年

5 胡瑾;幼儿园音乐图谱的运用研究[D];山东师范大学;2015年

6 王三珊;学术机构知识图谱的构建研究[D];安徽财经大学;2012年

7 王一博;基于知识图谱的计算机领域胜任力研究与应用[D];吉林大学;2020年

8 郭雪纯;知识图谱中的图聚集方法研究[D];东南大学;2019年

9 陈晨;基于实验研究不同标注方式对医学图谱识别效率的影响[D];第四军医大学;2015年

10 谢晓娟;潘怀素《南宋乐星图谱研究》初探[D];温州大学;2015年

本文编号：2867138