面向新闻领域的小型垂直搜索引擎

发布时间：2020-06-21 11:50

【摘要】：垂直搜索引擎是一种面向特定领域的搜索引擎。与传统的通用搜索引擎相比垂直搜索引擎更能满足特定人群的搜索需求,对用户群作了领域细分。当用户输入检索关键词时,垂直搜索引擎会精确的返回该特定领域的相关信息。本文提出并设计了一种面向新闻领域的的小型垂直搜索引擎。为此设计了一套基于Heritrix的新闻主题网络爬虫。对爬虫的网页抓取规则以及网页迭代遍历的方式进行了主题定制,使得Heritrix可以仅爬取新闻网页从而过滤其他冗余无用的网页数据。并且针对Heritrix在相同网络域名下爬取网页时无法开启多线程的问题,对Heritrix的爬虫队列进行了改进。引入BKDRHash算法,对每一个待爬取新闻网页的URL计算并生成单独的哈希值,最后根据哈希值将URL平均分配至每个爬虫线程队列中。根据实验对比,大大地改进了爬虫的网页爬取速度。同时本文针对新闻文本类别混乱不清的问题设计了文本分类算法,它是一种基于支持向量机的不均衡文本分类算法。该算法针对不均衡文本数据集问题,运用合成少数类过采样算法(SMOTE)生成插值样本均衡数据集,并通过粒子群优化算法(PSO)迭代进化得到最佳的插值样本,对支持向量机的文本分类能力进行了优化。实验结果表明,新算法大幅优化了支持向量机分类不均衡文本数据集的能力。本文对网页排序理论进行了剖析,设计了一种基于网页主题相关度和更新频率的PageRank网页排序算法。该算法在PageRank算法的基础上兼顾了网页的主题相关度,并引入了网页更新频率因子对新网页的排序优先级进行了调整。实验表明,该算法可以有效地改进搜索引擎的查询准确率。结合上述两种算法,本文基于Lucene检索框架构建了新闻垂直搜索引擎系统。使用Lucene对新闻数据做索引处理之后,用户在搜索界面可直接进行新闻搜索查询。该搜索引擎系统在进行新闻检索之前可以提前选择新闻类别,提高了新闻检索的垂直度和细分度。
【学位授予单位】：南京信息工程大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP391.3
【图文】：

界面图,主控制,界面,网络信息保存

方便对功能进行拓展。Ｈｅｒｉｔｒｉｘ最初是被设计用来网络信息保存的网络爬虫。逡逑它由国外知名科技组织互联网档案计划（Ｉｎｔｅｒｎｅｔ邋Ａｒｃｈｉｖｅ）所研发［１６］。它由Ｊａｖａ语言编写逡逑并且使用完全免费。如图２－１所示，Ｈｅｒｉｔｒｉｘ的主控制界面可以通过Ｗｅｂ浏览器访问，逡逑并且有一个命令行工具可以用来启动抓取工作。逡逑■邋Ｉ邋？ｆ７ｆｌ逦Ｓｔａｔａｓ邋ａｓ邋ｏｆＨ月．２７，２０１７邋０６：１５：００邋ＧＭＴ邋Ａｌｅｒｔｓ：邋ＫＯｎｔｘｖ）逡逑ＪＵＪｌｉ邋Ｕ邋ｉＡ邋Ｌｉｋ邋ＣＲＡＷＬＩＮＧ邋ＪＯＢＳ逦Ｒｌ＾ＭＫＧ邋Ｊｏｂ：邋ｓｏｈｕ逡逑Ａｄｍｔｎ邋Ｃｏｎｓｏｌｅ邋０邋ｊｏｂｓ邋ｐｅｎｄｉａｇ，邋１邋ｃｏｍｐｌｅｔｅｄ逦１０邋ＵＲＩｓ邋ｉｎ邋２３邋ｓ邋（０．４／ｓｅｃ）逡逑了’Ｊｏｂｓ邋Ｐｒｏｆｉｌｅｓ邋Ｌｏｇｓ邋Ｒｅｐｏｒｔｓ邋Ｓｅｔｕｐ邋Ｈｅｌｐ逦逡逑Ｃｒａｗｌｅｒ邋Ｓｔａｔｕｓ：邋ＣＲＡｍｉＮＧ邋ＪＯＢＳ邋｜邋Ｂｏｌｄ逡逑Ｊｏｂｓ逦Ｍｅｍｏｒｙ逡逑Ｒｕｎａｒｎｇ：邋ｓｏｈｕ逦２１５６７邋ＫＢ邋ｕｓｅｄ逡逑０邋ｐｅｎｉＳｎｇ

改进效果,对比实验,队列,网页

虫必须只爬取新闻相关的网页。Ｈｅｒｉｔｒｉｘ爬取过程中对网页链接的遍历方式是宽度遍历逡逑［２４］，如图２－４所示，即使设定的爬虫入口网页是特定的新闻网页也很容易在遍历过程逡逑中跳转到其他类型的网页。随着遍历程度的加深，爬取主题的偏移也会逐渐加重。结逡逑合以上两点，对Ｈｅｒｉｔｒｉｘ进行爬取规则的定制，规定Ｈｅｒｉｔｒｉｘ只能对特定的网页链接进逡逑行解析爬取是很有必要的。逡逑１６逡逑

【参考文献】