基于排序学习的知识库引文推荐

发布时间：2020-02-26 14:14

【摘要】：知识库引文推荐是指针对知识库内的实体,将与其相关的文档进行自动的筛选与推荐。随着知识库在各个领域的广泛应用,知识库引文推荐逐渐成为当前的研究热点,例如文本检索会议(TextRetrieval Conference,TREC)中的 KBA(Knowledge Base Acceleration)评测中就有针对引文推荐的任务CCR(Cumulative Citation Recommendation),本文研究的课题也是基于该任务。当前对知识库引文推荐的研究,主要集中在将其建模为排序学习的检索模型。通过对比不同引文推荐常用模型,本文提出了基于排序学习的引文推荐方法,在此基础上将知识库引文推荐归结为三个关键问题:针对知识库某一实体名的查询扩展、针对文档和实体的特征提取、以及判断文档与实体相关性的预测模型的选择。本文的主要研究内容和阶段成果如下:1.提出了基于语义词典与词向量(wordembedding)相结合的实体查询扩展算法。首先,通过利用DBpedia中的属性特征实现基于语义词典的实体查询扩展算法;其次,分别利用WAF和word2vec算法实现基于词向量的实体查询扩展算法;最后将两种算法结合起来,获得最终的实体扩展结果。2.提取出本领域不常使用的语义特征、句法特征和时间特征,用以实现后续的相似性判断。采用LDA和ESA算法来构建语义特征,用以解决一词多义问题。此外,本文发现句法特征和时间特征在知识库引文推荐中同样非常有效。3.在上述基础上,采用point-wise、pair-wise和list-wise三种排序学习的方法,实现实体与文档的相关性判断。实验证明,该方法比常用的知识库引文推荐算法更有效。4.提出了线性模型将逻辑回归与随机森林分类器组合起来,完成排序学习算法,并最终实现相关性的判断。实验证明该方法比通用的排序学习更能有效解决知识库引文推荐问题。5.设计并实现了完整的知识库引文推荐系统。该系统在TREC KBA2014评测数据上的实验结果与基线系统相比,F1值平均提升了19.8%。表明本文设计的算法能够较好的解决引文推荐问题,且具有可行性。
【图文】：

分布情况,图模型,文档

逦逦逡逑ＬＤＡ是一个多层的生成式全概率生成模型，是对文本的语义特征建模方法，逡逑如下图所示。ＬＤＡ算法中包含词、主题（语义）及文档三个概念。ＬＤＡ的建模逡逑过程如下：给定一个文档集合，ＬＤＡ将每个文档都建模为一个主题的分布，每逡逑个主题建模为一个多项式分布来表示该主题生成词的概率。在ＬＤＡ模型中，这逡逑些主题在所有文档中都存在而区分每个文档的是：不同文档有着一个特定的分布。逡逑ＬＤＡ的模型包括参数（ｃｃ，邋Ｐ），ａ表示每个主题（即隐含语义）在整个文档集中的逡逑重要性大小，ｐ表示所有主题的分布情况。ｚ表示文档在每个词上的主题的权重，逡逑０代表文档中各个主题在文档中的比重，Ｗ为文档集中文档的总数，ｗ是文档的逡逑词表示，／Ｖｄ表示该文档的总词数。逡逑相较于ＬＳＡ或ＰＬＳＡ等模型，ＬＤＡ有很明显的优势和好处：首先ＬＤＡ模逡逑型是全概率生成模型，，故有着更清晰的结构且有较深厚的理论基础；同时，ＬＤＡ逡逑模型的大小与训练样本数无关，因此对于数据量大的文本语料，有天生的优势。逡逑随着ＬＤＡ模型、ＬＤＡ的演进模型在自然语言处理中的应用，他们的价值逐渐得逡逑到重视并得到了很深入的研究，但在引文推荐领域还没有人对其进行应用。逡逑

算法模型,输入层,输出层,三层

逦第三章基于语义词典与词向量的查询扩展逦逡逑的索引。但这种向量有些缺点：一是词典中的词在意义上并不一定是正交的，不逡逑同维度可能是有关联的？，二是当词典较大的时候会引发维度灾难（Ｃｕｒｓｅ邋ｏｆ逡逑Ｄｉｍｅｎｓｉｏｎａｌｉｔｙ邋）邋0逡逑词向量可以视为Ｄｉｓｔｒｉｂｕｔｅｄ邋Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ的一＇种具体实现。Ｄｉｓｔｒｉｂｕｔｅｄ逡逑Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ最早由Ｈｉｎｔｏｎ与１９８６年提出，可以克服ｏｎｔ－ｈｏｔ的上述缺点。其逡逑基本思想是：通过训练，将语言中的每个词映射成一个长度固定的向量，这些向逡逑量可以视为词向量空间中的一个点，语义计算可以通过点之间的数学运算来实现。逡逑类比的关系可以通过向量作差来计算，如经典的例子Ｋｉｎｇ－Ｑｕｅｅｎ邋￣邋Ｍａｎ邋－逡逑Ｗｏｍａｎ邋0逡逑Ｍｉｋｏｌｏｖ邋在邋２０１３邋年的论文中，给出邋了基于邋ＣＢＯＷ（ＣｏｎｔｉｎｕｏｕｓＢａｇ－ｏｆ－Ｗｏｒｄ）逡逑与Ｓｋｉｐ－ｇｒａｍ邋（Ｃｏｎｔｉｎｕｏｕｓ邋Ｓｋｉｐ－ｇｒａｍ）的两种词向量训练方法。逡逑■ＰＯＴ邋ｒａＯＳＣＴＩＯＮ邋ｍｉＴＲＪＴ逦１：！＃＼１了邋ＰＲＯＪＥＣＴＩＯＮ邋ＯＪＴＦｌｉＴ逡逑
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP391.3

【参考文献】