基于内容的搜索引擎垃圾网页检测

  本文关键词：基于内容的搜索引擎垃圾网页检测，由笔耕文化传播整理发布。

第２ ６卷第 １ １期　　　 ２ ０ ０ ９年 １ １月　　

计算机应用与软件 Ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒ Ａ ｐ ｐ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｓ ａ ｎ ｄＳ ｏ ｆ ｔ ｗ ａ ｒ ｅ

Ｖ ｏ ｌ ? ２ ６Ｎ ｏ ． １ １ ０ ９ Ｎ ｏ ｖ ． ２ ０

基于内容的搜索引擎垃圾网页检测
贾志洋１　李伟伟１　张海燕２
１

（ 云南师范大学计算机科学与信息技术学院　云南 昆明 ６ ５ ０ ０ ９ ２ ）
２

（ 中国石油大庆石化公司信息中心　辽宁 大庆 １ ６ ３ ７ １ ４ ）

摘　要　　有些网页为了增加访问量， 通过欺骗搜索引擎， 提高在搜索引擎的搜索结果中的排名， 这些网页被称为“ 搜索引擎垃圾 网页” 或“ 垃圾网页” 。将搜索引擎垃圾网页的检测看成一个分类问题， 采用 Ｃ ４ ． ５分类算法建立决策树分类模型， 将网页分成正常 网页和垃圾网页两类。实验表明我们的分类模型可以有效地检测搜索引擎垃圾网页。 关键词　　搜索引擎　垃圾网页　垃圾网页检测　决策树　Ｃ ４ ． ５分类算法

Ｃ Ｏ Ｎ Ｔ Ｅ Ｎ Ｔ ? Ｂ Ａ Ｓ Ｅ ＤＳ Ｐ Ａ Ｍ ＷＥ ＢＰ Ａ Ｇ ＥＤ Ｅ Ｔ Ｅ Ｃ Ｔ Ｉ Ｏ ＮＩ ＮＳ Ｅ Ａ Ｒ Ｃ ＨＥ Ｎ Ｇ Ｉ Ｎ Ｅ
１ １ ２ Ｊ ｉ ａＺ ｈ ｉ ｙ ａ ｎ ｇ 　Ｌ ｉ Ｗｅ ｉ ｗ ｅ ｉ 　Ｚ ｈ ａ ｎ ｇＨ ａ ｉ ｙ ａ ｎ
１

（ Ｓ ｃ ｈ ｏ ｏ ｌ ｏ ｆ Ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒ Ｓ ｃ ｉ ｅ ｎ ｃ ｅ ａ ｎ ｄＩ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎＴ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ ， Ｙ ｕ ｎ ｎ ａ ｎＮ ｏ ｒ ｍ ａ ｌ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ ， Ｋ ｕ ｎ ｍ ｉ ｎ ｇ ６ ５ ０ ０ ９ ２ ， Ｙ ｕ ｎ ｎ ａ ｎ ， Ｃ ｈ ｉ ｎ ａ ）
２

（ Ｉ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎＣ ｅ ｎ ｔ ｅ ｒ ， Ｐ ｅ ｔ ｒ ｏ Ｃ ｈ ｉ ｎ ａＤ ａ ｑ ｉ ｎ ｇＰ ｅ ｔ ｒ ｏ ｃ ｈ ｅ ｍ ｉ ｃ ａ ｌ Ｃ ｏ ｍ ｐ ａ ｎ ｙ ， Ｄ ａ ｑ ｉ ｎ ｇ １ ６ ３ ７ １ ４ ， Ｌ ｉ ａ ｏ ｎ ｉ ｎ ｇ ， Ｃ ｈ ｉ ｎ ａ ）

Ａ ｂ ｓ ｔ ｒ ａ ｃ ｔ 　　Ｉ ｎｏ ｒ ｄ ｅ ｒ ｔ ｏａ ｔ ｔ ｒ ａ ｃ ｔ ｍ ｏ ｒ ｅ ｖ ｉ ｓ ｉ ｔ ｓ ，ｓ ｏ ｍ ｅ ｗ ｅ ｂｐ ａ ｇ ｅ ｓ ａ ｃ ｈ ｉ ｅ ｖ ｅ ｈ ｉ ｇ ｈ ｅ ｒ ｒ ａ ｎ ｋ ｉ ｎ ｇ ｓ ｉ ｎａ ｓ ｅ ａ ｒ ｃ ｈｅ ｎ ｇ ｉ ｎ ｅ ’ ｓ ｒ ｅ ｓ ｕ ｌ ｔ ｓ ｂ ｙ ｄ ｅ ｃ ｅ ｉ ｖ ｉ ｎ ｇ ｔ ｈ ｅ ｓ ｅ ａ ｒ ｃ ｈｅ ｎ ? ｇ ｉ ｎ ｅ ．Ｔ ｈ ｅ ｓ ｅ ｗ ｅ ｂｐ ａ ｇ ｅ ｓ ａ ｒ ｅ ｃ ａ ｌ ｌ ｅ ｄ“ ｓ ｅ ａ ｒ ｃ ｈｅ ｎ ｇ ｉ ｎ ｅ ｓ ｐ ａ ｍｗ ｅ ｂｐ ａ ｇ ｅ ”ｏ ｒ “ ｓ ｐ ａ ｍｗ ｅ ｂｐ ａ ｇ ｅ ” ．Ｉ ｎｔ ｈ ｉ ｓ ｐ ａ ｐ ｅ ｒ ｔ ｈ ｅ ｓ ｐ ａ ｍｗ ｅ ｂｐ ａ ｇ ｅ ｄ ｅ ｔ ｅ ｃ ｔ ｉ ｏ ｎｉ ｎｓ ｅ ａ ｒ ｃ ｈ ｅ ｎ ｇ ｉ ｎ ｅｉ ｓ ｄ ｅ ｅ ｍ ｅ ｄａ ｓ ａｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎｐ ｒ ｏ ｂ ｌ ｅ ｍ ，ｗ ｅｃ ｒ ｅ ａ ｔ ｅａ ｄ ｅ ｃ ｉ ｓ ｉ ｏ ｎｔ ｒ ｅ ｅ ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎｍ ｏ ｄ ｅ ｌ ｂ ｙ Ｃ ４ ． ５ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ ，ｔ ｏ ｓ ｅ ｐ ａ ｒ ａ ｔ ｅ ｗ ｅ ｂ ｐ ａ ｇ ｅ ｓ ｉ ｎ ｔ ｏｔ ｗ ｏｃ ａ ｔ ｅ ｇ ｏ ｒ ｉ ｅ ｓ ，ｔ ｈ ｅ ｎ ｏ ｒ ｍ ａ ｌ ａ ｎ ｄｔ ｈ ｅ ｓ ｐ ａ ｍ ．Ｔ ｈ ｅ ｅ ｘ ｐ ｅ ｒ ｉ ｍ ｅ ｎ ｔ ｒ ｅ ｓ ｕ ｌ ｔ ｓ ｓ ｈ ｏ ｗｔ ｈ ａ ｔ ｏ ｕ ｒ ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎｍ ｏ ｄ ｅ ｌ ｃ ａ ｎｅ ｆ ｆ ｅ ｃ ｔ ｉ ｖ ｅ ｌ ｙ ｄ ｅ ｔ ｅ ｃ ｔ ｓ ｐ ａ ｍｗ ｅ ｂ ｐ ａ ｇ ｅｉ ｎｓ ｅ ａ ｒ ｃ ｈｅ ｎ ｇ ｉ ｎ ｅ ． Ｋ ｅ ｙ ｗ ｏ ｒ ｄ ｓ 　　Ｓ ｅ ａ ｒ ｃ ｈｅ ｎ ｇ ｉ ｎ ｅ 　Ｓ ｐ ａ ｍｗ ｅ ｂｐ ａ ｇ ｅ 　Ｓ ｐ ａ ｍｗ ｅ ｂｐ ａ ｇ ｅｄ ｅ ｔ ｅ ｃ ｔ ｉ ｏ ｎ 　Ｄ ｅ ｃ ｉ ｓ ｉ ｏ ｎｔ ｒ ｅ ｅ 　Ｃ ４ ． ５ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ 网页的排名。也就是说， “ 垃圾网页” 不是提高其质量， 而是针

０ 　引　言
随着网页数量的指数级增长， 用户不得不通过搜索引擎获 取有效信息， 近几年搜索引擎已经成为网络信息检索的主要方
１ ］ 式。据研究表明 ［ ： 大多数用户只查看搜索引擎返回的前三页

对搜索引擎网页排名算法进行“ 作弊” ， 从而提高网页排名。 如图 １所示， 网页中包含了很多热门关键词， 但是有用的信 息却很少， 显然是针对搜索引擎的垃圾网页。

的搜索结果。因此， 网站管理者会通过努力提高网站的质量， 以 达到提高网站在搜索结果中排名的目的。但是， 有些网站则是 通过一些“ 作弊” 的方式来提升排名。更有甚者， 有些网站管理 者“ 手动” 或“ 自动” 地制造一些“ 垃圾网页” ， 这些网页不是提 供给用户有效的信息而仅仅是为了提升在搜索结果中的排名， 以此提高网站访问量。 值得注意的是， “ 垃圾网页” 不仅严重干扰了用户检索的有 效信息， 而且给搜索引擎公司造成了极大的资源浪费。据研究
２ ］ 表明 ［ ， 搜索引擎在爬行网页、 处理网页、 索引网页、 响应用户

图１ 　垃圾网页示例

查询时在“ 垃圾网页” 上的浪费， 达到了各种资源的 １ ／ ７ 。所以， 对“ 垃圾网页” 检测的相关研究具有现实意义。

２ 　基于网页内容的特征提取
虽然垃圾网页与正常网页在视觉效果上具有明显差别， 但 是却难以根据视觉特征进行检测。因此， 我们根据网页内容， 分 析、 提取垃圾网页的特征， 并把检测垃圾网页看成一个分类问
６ ］ 题［ ，， 采用机器学习的方法对网页进行分类。

１ 　“ 垃圾网页” 的定义
首先， 我们引用文献［ ３ ］ 对“ 垃圾网页” 的定义： “ 任何企图 欺骗搜索引擎网页排名算法以获得更高排名的网页” 。 不同的搜索引擎在返回搜索结果时， 采用不同算法计算网
［ ４ ］ ［ ５ ］ 页在搜索结果中的排名， 如Ｇ ｏ ｏ ｇ ｌ ｅ 采用 Ｐ ａ ｇ ｅ Ｒ ａ ｎ ｋ 算法计算

为了设计和评估本文的垃圾网页检测算法， 基于尽可能选
收稿日期： ２ ０ ０ ８－ ０ ４－ ２ ３ 。 贾志洋， 硕士生， 主研领域： Ｗｅ ｂ挖掘， Ｗｅ ｂ 应用测试。

　 　 １ ６ ６ 　　　

计算机应用与软件 ２ ． ３ 　其它特征

２ ０ ０ ９年

用 Ｗｅ ｂ 中的“ 随机样本” 以及网页在相关搜索结果排名靠前的 原则， 我们于 ２ ０ ０ ８年 １月爬取了较具代表性的 １ １ ４ ７ ０个中文网 页。通过人工判别， 数据集中共有垃圾网页 ５ ７ ０个（ ５ ％） ， 正常 网页 １ ０ ９ ０ ０个（ ９ ５ ％） 。

（ １ ）网页“＜ Ｍ Ｅ Ｔ Ａ＞” 标签 　 在 Ｈ Ｔ Ｍ Ｌ语言中， “＜Ｍ Ｅ Ｔ Ａ ＞ ” 标签被用来描述一个 Ｈ Ｔ Ｍ Ｌ网页文档的属性， 通常会用到 “ ｎ ａ ｍ ｅ ” 属性里的“ ｋ ｅ ｙ ｗ ｏ ｒ ｄ ｓ ” （ 网页关键词） 和“ ｄ ｅ ｓ ｃ ｒ ｉ ｐ ｔ ｉ ｏ ｎ ” （ 网 页描述） 两个参数。大多数搜索引擎的搜索结果排名和 Ｍ Ｅ Ｔ Ａ 标签中的内容有很大关系， 以至于“ Ｍ Ｅ Ｔ Ａ ” 标签在一个页面中 的作用仅次于网页标题。所以很多垃圾网页的 Ｍ Ｅ Ｔ Ａ标签的内 容会与正常网页有很大区别。 为此， 我们计算了数据集中每一个网页的“＜Ｍ Ｅ Ｔ Ａ＞” 标 签数量、 “＜ Ｍ Ｅ Ｔ Ａ＞ ” 标签“ ｎ ａ ｍ ｅ ” 属性值为“ ｋ ｅ ｙ ｗ ｏ ｒ ｄ ｓ ” 的“ 网页 关键词” 长度、 “＜ Ｍ Ｅ Ｔ Ａ＞ ” 标签“ ｎ ａ ｍ ｅ ” 值为“ ｋ ｅ ｙ ｗ ｏ ｒ ｄ ｓ ” 的“ 网 页描述” 长度等作为备选特征。 （ ２ ）网页 Ｕ Ｒ Ｌ长度　垃圾网页一般是自动生成的， 因此垃 圾网页的 Ｕ Ｒ Ｌ会与正常网页具有显著的区别， 为了提取此特 征， 我们把数据集中每一个网页的 Ｕ Ｒ Ｌ长度提取出来， 将其作 为备选特征。 （ ３ ）网页长度 　 部分垃圾网页为了与大量关键词都 “ 相 关” ， 不仅大量重复某个关键词， 而且将大量热门关键词加入到 网页中， 所以垃圾网页的长度可能与正常网页具有较大区别， 也 将网页长度作为备选特征。

２ ． １ 　网页标题长度
搜索引擎对网页进行排名时， 会给网页标题很高的权重， 所 以很多垃圾网页就针对这点， 将大量与网页内容无关的关键词 罗列在一起作为网页的标题， 这种技术为“ 关键词堆砌” 。 为了测试网页标题是否可以作为判定垃圾网页的特征， 实 验如下： 提取数据集中每个网页 Ｈ Ｔ Ｍ Ｌ源代码 “＜ｔ ｉ ｔ ｌ ｅ ＞ ” 标记 中标题的长度， 并计算其分布（ 如图 ２所示） 。

图２ 　网页标题长度与垃圾网页的关系

（ ４ ）常用词出现率　有些垃圾网页的内容就是从热门关键 词词典中选择一部分， 这种垃圾网页很可能出现常用词过少或 过多的情况。针对这种行为， 首先建立一个常用词词典， 提取数 据集中每一个网页的文本并进行分词， 然后计算每个网页中的 常用词数量与此网页包含的全部词汇数量的比值， 将其作为备 选特征。 （ ５ ）停用词使用率　有些垃圾网页的内容就是随机选取的 一些热门关键词， 所以这些垃圾网页中的停用词的出现频率与 正常网页的停用词出现频率有很大的区别， 为了提取这个特征， 我们计算了数据集中每一个网页的停用词数量与此网页包含全 部词汇数量的比值， 将其作为备选特征。 （ ６ ）可视文本　为了提供给用户更多相关的搜索结果， 搜 索引擎在分析网页的时候往往将 Ｈ Ｔ Ｍ Ｌ标签里的部分关键词也 收录起来（ 虽然这部分文本对用户是不可见的） 。于是垃圾网 页就可以将关键词堆砌到网页 Ｈ Ｔ Ｍ Ｌ标签里。为了提取此特 征， 我们计算了去除 Ｈ Ｔ Ｍ Ｌ标签后的网页文本长度（ 即可视文 本长度） ， 将可视文本长度与未去除 Ｈ Ｔ Ｍ Ｌ标签的网页 Ｈ Ｔ Ｍ Ｌ 文本长度的比值作为备选特征。 （ ７ ）链接文本数量　搜索引擎在计算网页排名的时候考虑 到链接文本的因素。即如果网页 Ａ有一个指向网页 Ｂ的链接， 其链接文本为 ｔ ， 那么即使网页 Ｂ中没有出现关键词 ｔ ， 搜索引 擎也会认为网页 Ｂ的内容是与 ｔ 相关的。搜索引擎在计算网页 排名的时候会考虑链接文本的情况。所以有些垃圾网页的存在 就是为其他垃圾网页提供热门关键词的链接文本。所以， 我们 提取出网页中所有链接文本并计算其长度， 将其长度值与网页 所有文本长度值（ 包括链接文本） 的比值作为此备选特征。

图 ２由一个直方图和一个折线图组成。图中 ｘ 轴代表网页 标题长度值， 左方的 ｙ 轴与直方图相对应， 即标题长度为 ｘ 的网 页数量占网页总量的百分比； 右方的 ｙ 轴与折线图相对应， 即标 题长度为 ｘ 的网页中垃圾网页所占的百分比（ 垃圾网页的可能 性） 。直方图从标题长度为 ４ ０的位置开始服从对数正态分布， 随着标题长度的增加， 垃圾网页的可能性也逐渐递增， 虽然在 １ １ ０位置有一个噪点， 但网页标题的长度大于 １ ２ ０时其是垃圾 网页的可能性就高于 ５ ０ ％。可见， 标题长度可作为判定垃圾网 页的一个较好的特征。

２ ． ２ 　网页压缩率
搜索引擎在计算网页文本与目标关键词相关度时， 主要采用
７ ］ 的是 Ｓ ａ ｌ ｔ ｏ ｎ 和Ｍ ｃ Ｇ ｉ ｌ ｌ 于１ ９ ７ ３年提出的 Ｔ Ｆ ／ Ｉ Ｄ Ｆ算法［ 。Ｔ Ｆ ／ Ｉ Ｄ Ｆ

算法认为关键词在文档中的权重正比于其在文档中的出现频率， 反比于所有文档中出现该关键词的文档数。根据此算法， 垃圾网 页可能通过在网页中大量重复同一关键词以获得更高的权重。 我们将网页压缩并计算其被压缩前后大小的比值以获取该 特征， 并将这个比值称为网页压缩率， 计算数据集中每个网页的 压缩率， 得到结果如图 ３ 。可见， 网页压缩率的分布服从正态分 布， 在０ ． ３ １位置达到最高点， 在压缩率小于 ０ ． １ ０时， 网页是垃 圾网页的可能性大于 ６ ０ ％， 故网页压缩率也是判定垃圾网页的 一个较好的特征。

３ 　使用分类器检测垃圾网页
前一部分中我们计算了网页的若干特征分布， 但这些特征 不能单独作为检测垃圾网页的决定性规则， 我们考虑将这些特
图３ 　网页压缩率与垃圾网页的关系

征结合起来并对垃圾网页进行检测。

　 第１ １期　　　

贾志洋等： 基于内容的搜索引擎垃圾网页检测

　 １ ６ ７

本文将垃圾网页检测看成一个分类问题， 通过建立一个分 类模型， 根据网页内容计算其特征值， 使用分类器将其归类到正 常网页或者垃圾网页类别中。我们实验了以下分类方法： 基于
８ ］ ９ ］ 规则的分类方法 ［ 、 基于朴素贝叶斯的分类方法 ［ 以及基于决

分类器的数据。由此， 得到分类结果： １ １ ３ １ ５个（ 占９ ８ ． ６ ％） 网页 分类正确； １ ５ ５个（ 占１ ． ４ ％） 网页分类错误。 综上， 本分类器对正常网页具有很好的识别效果，对垃圾 网页也能进行较为准确的判别， 可实际应用于搜索引擎中。

策树的分类方法。通过对比试验结果（ 如表 １所示） ， 发现基于 决策树的分类方法效果最佳。
表１ 　三种分类方法试验结果比较 分类方法 网页类别 正常网页 基于规则 垃圾网页 朴素 贝叶斯 正常网页 垃圾网页 正常网页 决策树 垃圾网页 ０ ． ９ ０ ３ ０ ． ８ １ ６ ０ ． ８ ５ ７ ［１］ Ｊ ａ ｎ ｓ ｅ ｎＢ ， Ｓ ｐ ｉ ｎ ｋＡ ． Ａ ｎＡ ｎ ａ ｌ ｙ ｓ ｉ ｓ ｏ ｆ ｗ ｅ ｂｄ ｏ ｃ ｕ ｍ ｅ ｎ ｔ ｓ ｒ ｅ ｔ ｒ ｉ ｅ ｖ ｅ ｄａ ｎ ｄｖ ｉ ｅ ｗ ｅ ｄ ［ Ｃ ］ ／ ／ Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｉ ｎ ｇ ｓ ｏ ｆ Ｉ Ｃ Ｉ Ｃ ′ ０ ３ ． Ｌ ａ ｓ Ｖ ｅ ｇ ａ ｓ ， Ｎ ｅ ｖ ａ ｄ ａ ， Ｕ Ｓ Ａ ， ２ ０ ０ ３ ： ６ ５ ６ ９ ． ［２］ Ｎ ｔ ｏ ｕ ｌ ａ ｓＡ ， Ｎ ａ ｊ ｏ ｒ ｋＭ， Ｍ ａ ｎ ａ ｓ ｓ ｅＭ ． Ｄ ｅ ｔ ｅ ｃ ｔ ｉ ｎ ｇｓ ｐ ａ ｍｗ ｅ ｂｐ ａ ｇ ｅ ｓｔ ｈ ｒ ｏ ｕ ｇ ｈ ｃ ｏ ｎ ｔ ｅ ｎ ｔ ａ ｎ ａ ｌ ｙ ｓ ｉ ｓ ［ Ｃ ］ ／ ／ Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｉ ｎ ｇ ｓ ｏ ｆ ｔ ｈ ｅ １ ５ ｔ ｈＩ ｎ ｔ ｅ ｒ ｎ ａ ｔ ｉ ｏ ｎ ａ ｌ Ｃ ｏ ｎ ｆ ｅ ｒ ｅ ｎ ｃ ｅ ８ ３ ９ ２ ． ｏ ｎＷｏ ｒ ｌ ｄＷｉ ｄ ｅ Ｗｅ ｂ ． Ｅ ｄ ｉ ｎ ｂ ｕ ｒ ｇ ｈ ， Ｓ ｃ ｏ ｔ ｌ ａ ｎ ｄ ， ２ ０ ０ ６ ： ［３］ Ｇ ｙ ｏ ｎ ｇ ｙ ｉ Ｚ ， Ｍ ｏ ｌ ｉ ｎ ａ Ｈ ． Ｗｅ ｂｓ ｐ ａ ｍｔ ａ ｘ ｏ ｎ ｏ ｍ ｙ ［ Ｃ ］ ／ ／ Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｉ ｎ ｇ ｓ ｏ ｆ ｔ ｈ ｅ １ ｓ ｔ Ｉ ｎ ｔ ｅ ｒ ｎ ａ ｔ ｉ ｏ ｎ ａ ｌＷｏ ｒ ｋ ｓ ｈ ｏ ｐｏ ｎＡ ｄ ｖ ｅ ｒ ｓ ａ ｒ ｉ ａ ｌＩ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎＲ ｅ ｔ ｒ ｉ ｅ ｖ ａ ｌｏ ｎｔ ｈ ｅ Ｗｅ ｂ ． Ｃ ｈ ｉ ｂ ａ ， Ｊ ａ ｐ ａ ｎ ， ２ ０ ０ ５ ： ３ ９ ４ ７ ． ［４］ Ｂ ｒ ｉ ｎＳ ， Ｐ ａ ｇ ｅＬ ． Ｔ ｈ ｅａ ｎ ａ ｔ ｏ ｍ ｙｏ ｆ ａｌ ａ ｒ ｇ ｅ ? ｓ ｃ ａ ｌ ｅｈ ｙ ｐ ｅ ｒ ｔ ｅ ｘ ｔ ｕ ａ ｌ ｗ ｅ ｂｓ ｅ ａ ｒ ｃ ｈ ｅ ｎ ｇ ｉ ｎ ｅ ［ Ｃ ］ ／ ／ Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｉ ｎ ｇ ｓｏ ｆ ｔ ｈ ｅＳ ｅ ｖ ｅ ｎ ｔ ｈＩ ｎ ｔ ｅ ｒ ｎ ａ ｔ ｉ ｏ ｎ ａ ｌ Ｃ ｏ ｎ ｆ ｅ ｒ ｅ ｎ ｃ ｅｏ ｎ Ｗｏ ｒ ｌ ｄＷｉ ｄ ｅ Ｗｅ ｂ ． Ｂ ｒ ｉ ｓ ｂ ａ ｎ ｅ ， Ａ ｕ ｓ ｔ ｒ ａ ｌ ｉ ａ ， １ ９ ９ ８ ： １ ０ ７ １ １ ７ ． ［５］ Ｂ ｉ ａ ｎ ｃ ｈ ｉ ｎ ｉ Ｍ， Ｇ ｏ ｒ ｉ Ｍ， Ｓ ｃ ａ ｒ ｓ ｅ ｌ ｌ ｉ Ｆ ． Ｉ ｎ ｓ ｉ ｄ ｅＰ ａ ｇ ｅ Ｒ ａ ｎ ｋ ［ Ｊ ］ ． Ａ Ｃ Ｍｔ ｒ ａ ｎ ｓ ａ ｃ ? ｔ ｉ ｏ ｎ ｓ ｏ ｎＩ ｎ ｔ ｅ ｒ ｎ ｅ ｔ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ ， ２ ０ ０ ５ ， ５ （ １ ） ： ９ ２ １ ２ ８ ． ［６］ Ｆ ｅ ｔ ｔ ｅ ｒ ｌ ｙ Ｄ ， Ｍ ａ ｎ ａ ｓ ｓ ｅＭ， Ｎ ａ ｊ ｏ ｒ ｋＭ ． Ｓ ｐ ａ ｍ ， ｄ ａ ｍ ｎｓ ｐ ａ ｍ ， ａ ｎ ｄｓ ｔ ａ ｔ ｉ ｓ ｔ ｉ ｃ ｓ ： ｕ ? ｓ ｉ ｎ ｇ ｓ ｔ ａ ｔ ｉ ｓ ｔ ｉ ｃ ａ ｌ ａ ｎ ａ ｌ ｙ ｓ ｉ ｓ ｔ ｏ ｌ ｏ ｃ ａ ｔ ｅｓ ｐ ａ ｍｗ ｅ ｂｐ ａ ｇ ｅ ｓ ［ Ｃ ］ ／ ／ Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｉ ｎ ｇ ｓ ｏ ｆ ｔ ｈ ｅＳ ｅ ｖ ｅ ｎ ｔ ｈＩ ｎ ｔ ｅ ｒ ｎ ａ ｔ ｉ ｏ ｎ ａ ｌ Ｗｏ ｒ ｋ ｓ ｈ ｏ ｐｏ ｎｔ ｈ ｅＷｅ ｂａ ｎ ｄＤ ａ ｔ ａ ｂ ａ ｓ ｅ ｓ ． Ｐ ａ ｒ ｉ ｓ ， Ｆ ｒ ａ ｎ ｃ ｅ ， ２ ０ ０ ４ ： １ ６ ． ［ ７］ Ｓ ｔ ｉ ｌ ｔ ｏ ｎＧ ， Ｍ ｃ Ｇ ｉ ｌ ｌ Ｍ ． Ｉ ｎ ｔ ｒ ｏ ｄ ｕ ｃ ｔ ｉ ｏ ｎｔ ｏ ｍ ｏ ｄ ｅ ｒ ｎｉ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎｒ ｅ ｔ ｒ ｉ ｅ ｖ ａ ｌ ［ Ｍ］ ． Ｎ ｅ ｗＹ ｏ ｒ ｋ ：Ｍ ｃ Ｇ ｒ ａ ｗ ? Ｈ ｉ ｌ ｌ Ｉ ｎ ｃ ， １ ９ ８ ６ ． ［８］ Ｅ ｉ ｂ ｅ Ｆ ｒ ａ ｎ ｋ ， Ｉ ａ ｎＷｉ ｔ ｔ ｅ ｎ ． Ｇ ｅ ｎ ｅ ｒ ａ ｔ ｉ ｎ ｇ Ａ ｃ ｃ ｕ ｒ ａ ｔ ｅ Ｒ ｕ ｌ ｅ Ｓ ｅ ｔ ｓ Ｗｉ ｔ ｈ ｏ ｕ ｔ Ｇ ｌ ｏ ｂ ａ ｌ Ｏ ｐ ｔ ｉ ｍ ｉ ｚ ａ ｔ ｉ ｏ ｎ ［ Ｃ ］ ／ ／ Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｉ ｎ ｇ ｓｏ ｆ ｔ ｈ ｅＦ ｉ ｆ ｔ ｅ ｅ ｎ ｔ ｈＩ ｎ ｔ ｅ ｒ ｎ ａ ｔ ｉ ｏ ｎ ａ ｌ Ｃ ｏ ｎ ｆ ｅ ｒ ? ｅ ｎ ｃ ｅ ． Ｓ ａ ｎＦ ｒ ａ ｎ ｃ ｉ ｓ ｃ ｏ ， Ｕ Ｓ Ａ ， １ ９ ９ ８ ： １ ４ ４ １ ５ １ ． ［９］ Ｊ ｏ ｈ ｎＧＨ ， Ｌ ａ ｎ ｇ ｌ ｅ ｙＰ ． Ｅ ｓ ｔ ｉ ｍ ａ ｔ ｉ ｎ ｇＣ ｏ ｎ ｔ ｉ ｎ ｕ ｏ ｕ ｓ Ｄ ｉ ｓ ｔ ｒ ｉ ｂ ｕ ｔ ｉ ｏ ｎ ｓ ｉ ｎＢ ａ ｙ ｅ ｓ ｉ ａ ｎ Ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｅ ｒ ｓ ［ Ｃ ］ ／ ／ Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｉ ｎ ｇ ｓ ｏ ｆ ｔ ｈ ｅ Ｅ ｌ ｅ ｖ ｅ ｎ ｔ ｈＣ ｏ ｎ ｆ ｅ ｒ ｅ ｎ ｃ ｅ ｏ ｎＵ ｎ ｃ ｅ ｒ ｔ ａ ｉ ｎ ? ３ ３ ８ ３ ４ ５ ． ｔ ｙ ｉ ｎＡ ｒ ｔ ｉ ｆ ｉ ｃ ｉ ａ ｌ Ｉ ｎ ｔ ｅ ｌ ｌ ｉ ｇ ｅ ｎ ｃ ｅ ． Ｑ ｕ ｅ ｂ ｅ ｃ ， Ｃ ａ ｎ ａ ｄ ａ ， １ ９ ９ ５ ： ［ １ ０ ］Ｑ ｕ ｉ ｎ ｌ ａ ｎＪ ． Ｃ ４ ． ５ ： ｐ ｒ ｏ ｇ ｒ ａ ｍ ｓｆ ｏ ｒ ｍ ａ ｃ ｈ ｉ ｎ ｅｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ ［ Ｍ］ ． Ｓ ａ ｎＦ ｒ ａ ｎ ｃ ｉ ｓ ｃ ｏ ： Ｍ ｏ ｒ ｇ ａ ｎ ? Ｋ ａ ｕ ｆ ｍ ａ ｎＰ ｕ ｂ ｌ ｉ ｓ ｈ ｅ ｒ ｓ Ｉ ｎ ｃ ， １ ９ ９ ３ ． ［ １ １ ］Ｇ ａ ｎＱ ， Ｓ ｕ ｅ ｌＴ ． Ｉ ｍ ｐ ｒ ｏ ｖ ｉ ｎ ｇＷｅ ｂｓ ｐ ａ ｍｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｅ ｒ ｓｕ ｓ ｉ ｎ ｇｌ ｉ ｎ ｋｓ ｔ ｒ ｕ ｃ ｔ ｕ ｒ ｅ ［ Ｃ ］ ／ ／ Ｐ ｒ ｏ ｃ ｅ ｅ ｄ ｉ ｎ ｇ ｓ ｏ ｆ ｔ ｈ ｅ ３ ｒ ｄＩ ｎ ｔ ｅ ｒ ｎ ａ ｔ ｉ ｏ ｎ ａ ｌ Ｗｏ ｒ ｋ ｓ ｈ ｏ ｐｏ ｎＡ ｄ ｖ ｅ ｒ ｓ ａ ｒ ｉ ａ ｌ Ｉ ｎ ? ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎＲ ｅ ｔ ｒ ｉ ｅ ｖ ａ ｌ ｏ ｎｔ ｈ ｅ Ｗｅ ｂ ． Ｂ ａ ｎ ｆ ｆ ， Ａ ｌ ｂ ｅ ｒ ｔ ａ ， Ｃ ａ ｎ ａ ｄ ａ ， ２ ０ ０ ７ ： １ ７ ２ ０ ． ０ ． ８ ９ ３ ０ ． ９ ９ １ ０ ． ７ ６ ９ ０ ． ９ ９ １ ０ ． ８ ０ ７ ０ ． ９ ８ ６ ０ ． ８ ３ ３ ０ ． ９ ９ ５ ０ ． ８ ４ ８ ０ ． ９ ８ ９ ０ ． ７ ９ ９ ０ ． ９ ９ ３ 准确率 ０ ． ９ ９ ０ 召回率 ０ ． ９ ９ ５ Ｆ １值 ０ ． ９ ９ ２

４ 　结　论
本文较为详细地分析了多种垃圾网页技术， 讨论了几种可 用于垃圾网页的内容特征， 建立了基于决策树的检测模型并进 行了实验， 实验结果表明本文的垃圾网页检测方法是行之有效 的。由于本文是基于网页内容的检测， 而没有考虑网页的链接 结构， 故可以在以后的工作中考虑结合网页的链接结构对垃圾
１ １ ］ 网页进行检测 ［ ， 以期获得更好的检测结果。

参　考　文　献

　　以下主要关注基于决策树的分类方法， 我们采用 Ｃ ４ ． ５分
１ ０ ］ 类算法 ［ 建立分类模型。 Ｃ ４ ． ５算法工作原理为： 在给定训练

数据集和相应的特征集后， 此算法建立一个类似于流程图的树 型结构， 其中每个内部节点表示在一个属性上的测试， 每个分枝 表示一个测试的输出， 算法使用称为信息增益的基于熵的度量 作为启发信息， 选择能够最好地将样本分类的属性作为树形结 构中节点的“ 测试” 或“ 判定” 属性。 我们使用试验数据集中的网页训练分类器。由 Ｃ ４ ． ５算法 建立的决策树的一部分如图 ４所示， 其主要分类过程为： 测试此 决策树的根节点所代表的网页属性值， 然后根据各分支所代表 的输出， 选择输出到左边节点或者右边节点， 然后重复此步骤， 直至输出节点为一个类别。例如： 如果一个网页的 Ｕ Ｒ Ｌ长度大 于１ ０ ７ ， 那么分类器就将此网页归类到垃圾网页的类别中； 如果 一个网页的 Ｕ Ｒ Ｌ长度小于等于 １ ０ ７ ， 并且 Ｍ ｅ ｔ ａ 标签数量少于等 于６ ， 并且 Ｍ ｅ ｔ ａ 标签 “ 描述” 长度大于 ４ ８ ， 并且网页长度大于 １ ３ ７ ５ ９ ， 并且网页压缩率小于等于 ０ ． ２ ２ ６ ， 那么这个网页就被分 类器归类到垃圾网页的类别中。

???????????????????????
（ 上接第 １ ６ ２页）
［ １ １ ］ 丛爽． 面向 Ｍ Ａ Ｔ Ｌ Ａ Ｂ工具箱的神经网络理论与应用［ Ｍ］ ． 合肥： 中 图４ 　Ｃ ４ ． ５算法建立的检测垃圾网页的决策树的一部分 国科学技术大学出版社， １ ９ ９ ８ ． ［ １ ２ ］ 翁维勤， 周庆海． 过程控制系统及工程［ Ｍ］ ． 北京： 化学工业出版 社， １ ９ ９ ６ ． ［ １ ３ ］ 龚剑平． Ｆ Ｏ Ｐ Ｄ Ｔ的模型不确定性界和内模控制器鲁棒性能设计 ［ Ｊ ］ ． 北京化工大学学报， ２ ０ ０ １ ， ２ ８ （ １ ） ： ７ ６ ７ ８ ．

最后， 我们采用了 １ ０ ? 折交叉确认方法对本文的检测模型进 行评估。１ ０ ? 折交叉确认方法思想为： 将数据集中的数据随机分 成１ ０等份， 并执行 １ ０次训练 ／ 测试步骤， 每个步骤中都是使用 ９ 个等份作为训练分类器的数据， 并使用剩余 １个等份作为测试



  本文关键词：基于内容的搜索引擎垃圾网页检测，由笔耕文化传播整理发布。