基于统计语言学模型的中文文本信息检索

发布时间：2020-09-14 08:45

　　随着各种文本信息资源的迅猛发展,文本信息检索系统已经成为人们获取有用信息不可缺少的工具,而文本信息检索模型作为文本信息检索技术的数学基础,是主要的研究方向之一,具有重要的意义。统计语言模型作为一种自然语言处理的工具,已经被证明有能力处理大规模真实文本。而统计语言模型和IR相结合后所形成的IR模型的提出,是信息检索模型研究上的重大进展。本文从文本检索模型的基本原理入手,分析了几种传统IR模型的优缺点,给出基于统计语言模型的IR模型的基本原理、关键技术以及它的优势所在。并在标准的TREC中文实验数据集上,回答了下面两个问题: (1)中文统计语言模型-IR模型的性能如何?也就是说,中文统计语言模型和IR相结合有没有前途? (2)特征选择对中文统计语言模型-IR模型的影响如何?哪种特征选择方法好? 对于问题(1),我们用SLM-IR模型和两种传统的IR模型:向量空间模型和概率模型进行比较,以标准的TREC评价手段,给出上述3种模型的性能。实验结果表明:简单的SLM-CIR模型的性能要优于简单的向量空间模型和概率模型。对于问题(2),我们选择了几种典型的特征选择方法,即单汉字、分词、bigram,比较它们的性能。同时,考虑到分词的特殊性,我们又选择了几种不同的分词方法,给出了基于不同分词方法的分词切分SLM-IR模型的性能。实验结果表明:①对于单汉字切分,简单的SLM-CIR模型的性能要优于简单的向量空间模型和概率模型;对于分词切分和Bigram切分,简单的SLM-CIR模型的性能要优于向量空间模型,虽然略低于OKAPI概率模型,但是反馈后的SLM-CIR模型的性能要明显优于反馈前和反馈后的OKAPI概率模型。②对于简单的SLM-CIR模型,分词切分的性能不如Bigram切分和单汉字切分,而且不同的分词方法对检索性能的影响不明显。这就说明了在SLM-CIR模型中,分词技术不是影响模型性能的关键因素。③验证了英文数据集上的实验结论,即无论采用哪一种切分方法,使用狄利克雷先验值的贝叶斯平滑方法仍比其他两种平滑方法好。 WP=5 今后,可以在语义平滑技术等方面进行深入研究,并且把统计语言模型作为构建更复杂的IR模型的一个强有力的工具。
【学位单位】：第二军医大学
【学位级别】：硕士
【学位年份】：2004
【中图分类】：G354
【部分图文】：

信息检索,基本流程图

硕士研究生毕业论文引言(Knowledge Mining)、知识发现(Knowledge Discovery)、内容管理(Contentnagement)、内容计算(Content Computing)等等新名词、新学科，有些其实就 IR，有些可能学科渊源或者处理内容有所不同，但是 IR 技术是这些名词的主内容，或者说这些都是传统 IR 的拓展，是现代 IR 的内容。可以说，现代 IR发展可以说是百花齐放、绚丽多彩，引无数英雄尽折腰。1.2 信息检索的基本流程信息检索的基本流程如图 0.1 所示。首先，用户提出检索需求，系统为用户需求生成查询表达式，然后对查询表达式进行分析处理，产生检索系统的查询言。在后台，通过索引器对文档集建立索引，并生成文档表示。这样，查询语和文档表示就是一个匹配的过程，产生检索结果。通过相关反馈机制，调整查表达式，从而使检索结果更加符合用户的需求。

文本检索,中文文本,研究方向,总体上

本文总体上分为三个部分，第一部分包括文本检索模型概述、SLM-IR相关的工作、基于SLM-IR的中文文本检索。第二部分是实验与结论，通过几种类型的实验来验证我们的设想。第三部分是总结和展望，探讨未来的研究方向。如图0.3所示。

马尔科夫模型,有限集合

图 2.1.1 马尔科夫模型-图示尔科夫模型-定义隐马尔科夫模型（HMM）是一个五元组： ( ,,A,B,πXO ：{ }：状态的有限集合Nq ,...q1{ }：观察值的有限集合Mv ,...v1{ },(|)：转移概率ijijt1 jtiaa=pX=qX=q+ } ：输出概率,(|)ikiktktibb=pO=vX=q }，：初始状态分布()ii1 iππ=p X=q{ }为给定的参数= A, B,πHMM。

【相似文献】