基于多权重因子影响的网页排序改进算法

发布时间：2020-05-05 10:28

【摘要】：搜索引擎已经成为人们查找资料最常用的手段之一,而搜索引擎中最关键的技术是网页排序算法。目前,使用最广泛最成功的排序算法是基于链接结构的PageRank排序算法。PageRank算法在搜索引擎的成功运用,说明其是高效可行的,但是完全基于链接分析会导致主题漂移问题和忽视用户个性化问题,因此本文提出基于主题相关度与用户历史的PagRank改进算法,针对主题漂移和忽视用户个性化问题对PageRank算法提出了以下两方面的改进,并将改进算法命名为THPR算法:(1)利用TextRank对获取的网页内容进行分词,并计算提取每个网页的关键字。结合Word2Vec和VSM空间向量模型技术,计算查询词与网页关键词的相似度来判断网页与用户查询词之间的相关性,并依据此分配权重,以此改善算法存在的主题漂移的现象。(2)引入搜索历史因子,记录用户曾经的搜索词,并在本次的搜索中计算历史搜索词与网页关键词的相似度,使算法在权值分配过程中能够关注用户个性化,提高用户查询的满意度。由于THPR算法不再平均分配权值,而是从主题相关性和用户兴趣两方面来度量权值分配的大小,一定程度上弥补了原算法的缺陷。为了验证改进算法THPR的性能以及效率,本文搭建了一个实验系统,通过开源爬虫Heritrix获取实验数据,在分析了Heritrix爬虫的整体结构后,改进Heritrix爬虫的爬取逻辑,爬取网页上的特定内容。将爬虫爬取的网页数据进行去噪、过滤,存入原始网页数据库中。对数据库中的网站进行分析,计算每个网页的等级,建立索引,在用户输入界面输入搜索的关键字即可返回得到相对应的网页。实验结果表明,与PagRank算法相比,THPR算法的用户满意度有所提升,综合评估率也提高了约6%。不仅如此,THPR算法相较于基于锚文本的改进算法、基于时间权重的改进算法以及基于用户行为的改进算法,均具有优势。
【图文】：

主界面,文件,版本,任务配置

图 5.3 Heritrix 主界面Figure 5.3 The main interface for Heritrix由于本文实验使用的Heritrix版本为 Heritrix3.1.0，与 Heritrix1.14.4 版本最大的不同在于任务配置文件从 order.xml 文件转到了 crawler-beans.cxml 文件。因此在任务建立完成后，进入管理界面，对 crawler-beans.cxml 配置文件进行编辑。

配置文件,文件,版本,任务配置

【参考文献】