搜索引擎排序作弊的识别:基于文本内容和链接结构的分析
发布时间：2021-03-21 06:03
搜索引擎排序作弊通过提高网页与搜索请求的相关性,达到提高搜索排名的目的.为此,根据作弊网页的特征,引入作弊倾向系数这一概念来衡量网页作弊的可能性.网页作弊通过多种手段实现,鉴于此本文基于网页内容本身的名词密度特征,衡量页面内容作弊的可能性,由于搜索关键词大部分为名词,超过一定名词比例阈值的页面,其内容作弊的可能性越大.根据页面的链接特征,衡量页面链接作弊的可能性,从黑名单页面通过迭代计算链接作弊系数,并根据与黑名单页面的距离设置权重.最终从上述两方面特征来综合考量页面的作弊倾向系数.选取PageRank,TrustRank,BadRank为基线实验,实验结果验证了关于检索词性分析的假设以及链接作弊检测算法的有效性.
【文章来源】：系统工程理论与实践. 2015,35(02)北大核心CSSCIEICSCD
【文章页数】：13 页
【部分图文】：
图２某网络结构图??给定网络图Ｇ＝〈Ｐ，?Ｌ＞，页面ｐ?ｅ?页面ｐ的链接作弊倾向系数可由公式（２）计算．??
第２期?王洪伟，等：搜索引擎排序作弊的识别：基于文本内容和链接结构的分析?４５３??ｘｌＯ５??１６．?１?１?１?１?１?１?１?１?１???１４?－??１２?－?－??１０?－?－??＿?Ｉ??＾?８?＂Ｉ????４?－?■?．．．．????????■?■?￣??２?－?Ｖ＾．?－??°０?１０?２０?３０?４０?５０?６０?７０?８０?９０?１００??句法类型??图３高频句法类型折线图??根据表４，３个词以内的纯名词组合垄断了三甲，而排名５个词以内的纯名词组合出现频率至少是前４５??名，占高频句法组合的４４．５１％；而排名前１００的句法类型中，包含名词的则有７９种，共计５１４８４０１个查询，??占到高频词性标注结果中的８１．２４％，由此可以推断名词是搜索引擎查询中使用最广泛的关键词，验证了本文??的假设．??３．２基于链接作弊倾向的反作弊试验??采用Ｃ＋＋对本文算法以及相关的排序算法编程实现，数据处理过程在ＳＱＬ?Ｓｅｒｖｅｒ?２００５中进行．由于??素材中无法包含相应的网页内容，将公式（６）的网页作弊倾向系数完全由链接作弊倾向系数决定，即内容作??弊倾向系数为０，而基本的排名算法采用经典的ＰａｇｅＲａｎｋ算法．??实验素材来自搜狗实验室，共包含３５３７３７９个网页８４５６７４０条链接．以网站为研究对象，对网页预处理．??去除网站的自反链接以及重复链接．同时，去掉没有链出链接的网站，因为这类网站对ＰａｇｅＲａｎｋ算法是无??效的．最后，得到６０３１个网站，以及相互间的２７９９４条链接．然而，上述６０３１个网站中，有３８８８个网站只??有链
的排名进行对比，通过公式（１０），测试新算法的反作弊性能．??Ｓｒａｎｋ（叫－ｙ－＞ｍ￣丑（五．）—?（１０）??其中，ｍ表示排名次序，以２００为单位，得到１０个区间．分子表示原排名位于前ｍ的种子页面中，经过新算??法处理后的排名之和；分母代表排名前ｍ的种子页面，在ＰａｇｅＲａｎｋ算法（如果与其他算法对比，则使用其??他算法的排名）中的排名之和．当Ｓｒａｎｋ（ｍ＞０时，说明新算法对旧算法有反作弊性能提升，反之则没有．??令阻尼系数ｄ?＝?０．８５，调整ａ的不同取值，观察反作弊效果．由图４可知，在ａ的不同取值下，新算法较??ＰａｇｅＲａｎｋ算法的反作弊性能均有提升．当ａ?＝?０时．公式（５）的惩罚因子由作弊页面的关联度决定，因此针??对作弊相关页面的惩罚力度较ａ的其它取值更大：当ａ?＝?１时，惩罚因子则由作弊倾向系数决定，此时针对??全局的惩罚力度较强，并不针对直接将链接指向作弊页面的网页，同时将链接指向这种页面的页面也会受到??一定的连带惩罚；当ａ?＝?０．５时，则综合考虑了两方面因子，并且这两方面因子在惩罚因子中的权重一样，所??以其针对种子页面的反作弊表现介于ａ?＝?０与ａ?＝?１之间．??３?Ｉ?Ｉ?Ｉ?Ｉ?Ｉ?Ｉ?Ｉ?１???□?？＝０??０?Ｓ?￣＾￣？＝０．２５??“????木?ａ＝０．５?‘?＿??／?—＾￣？＝０．７５??２?＿?／?＾―———ｉｔ?？＝ｉ?■??０??１?１?１?１?１?１?Ｉ?Ｉ?Ｉ??２００?４００?６００?８００?１０００?１２００?１４００?１６００?１８００?２０００??ｍ??图４新算法与ＰａｇｅＲａｎｋ算法的对
【参考文献】：
期刊论文
[1]上下文对用户搜索行为的影响[J]. 何秀,牛之贤,孙静宇. 情报杂志. 2012(10)
[2]元搜索引擎中排序融合算法的优化研究[J]. 董乐,谢红薇. 计算机应用与软件. 2012(10)
[3]一种抵抗链接作弊的PageRank改进算法[J]. 贺志明,王丽宏,张刚,程学旗. 中文信息学报. 2012(05)
[4]基于网站影响力的网页排序算法[J]. 张芳,郭常盈. 计算机应用. 2012(06)
[5]基于JavaScript的网页重定向作弊技术研究[J]. 王暾. 计算机与数字工程. 2012(03)
[6]搜索引擎垃圾网页检测模型研究[J]. 贾志洋,夏幼明,高炜,王勇刚. 重庆文理学院学报(自然科学版). 2011(05)
[7]反搜索引擎作弊的相关探讨[J]. 李俊. 网络与信息. 2011(01)
[8]PageRank算法的分析及其改进[J]. 王德广,周志刚,梁旭. 计算机工程. 2010(22)
[9]搜索引擎应对网站作弊的搜索策略和用户的检索策略[J]. 刘俊熙. 现代情报. 2007(06)
本文编号：3092463
【文章来源】：系统工程理论与实践. 2015,35(02)北大核心CSSCIEICSCD
【文章页数】：13 页
【部分图文】：
图２某网络结构图??给定网络图Ｇ＝〈Ｐ，?Ｌ＞，页面ｐ?ｅ?页面ｐ的链接作弊倾向系数可由公式（２）计算．??
第２期?王洪伟，等：搜索引擎排序作弊的识别：基于文本内容和链接结构的分析?４５３??ｘｌＯ５??１６．?１?１?１?１?１?１?１?１?１???１４?－??１２?－?－??１０?－?－??＿?Ｉ??＾?８?＂Ｉ????４?－?■?．．．．????????■?■?￣??２?－?Ｖ＾．?－??°０?１０?２０?３０?４０?５０?６０?７０?８０?９０?１００??句法类型??图３高频句法类型折线图??根据表４，３个词以内的纯名词组合垄断了三甲，而排名５个词以内的纯名词组合出现频率至少是前４５??名，占高频句法组合的４４．５１％；而排名前１００的句法类型中，包含名词的则有７９种，共计５１４８４０１个查询，??占到高频词性标注结果中的８１．２４％，由此可以推断名词是搜索引擎查询中使用最广泛的关键词，验证了本文??的假设．??３．２基于链接作弊倾向的反作弊试验??采用Ｃ＋＋对本文算法以及相关的排序算法编程实现，数据处理过程在ＳＱＬ?Ｓｅｒｖｅｒ?２００５中进行．由于??素材中无法包含相应的网页内容，将公式（６）的网页作弊倾向系数完全由链接作弊倾向系数决定，即内容作??弊倾向系数为０，而基本的排名算法采用经典的ＰａｇｅＲａｎｋ算法．??实验素材来自搜狗实验室，共包含３５３７３７９个网页８４５６７４０条链接．以网站为研究对象，对网页预处理．??去除网站的自反链接以及重复链接．同时，去掉没有链出链接的网站，因为这类网站对ＰａｇｅＲａｎｋ算法是无??效的．最后，得到６０３１个网站，以及相互间的２７９９４条链接．然而，上述６０３１个网站中，有３８８８个网站只??有链
的排名进行对比，通过公式（１０），测试新算法的反作弊性能．??Ｓｒａｎｋ（叫－ｙ－＞ｍ￣丑（五．）—?（１０）??其中，ｍ表示排名次序，以２００为单位，得到１０个区间．分子表示原排名位于前ｍ的种子页面中，经过新算??法处理后的排名之和；分母代表排名前ｍ的种子页面，在ＰａｇｅＲａｎｋ算法（如果与其他算法对比，则使用其??他算法的排名）中的排名之和．当Ｓｒａｎｋ（ｍ＞０时，说明新算法对旧算法有反作弊性能提升，反之则没有．??令阻尼系数ｄ?＝?０．８５，调整ａ的不同取值，观察反作弊效果．由图４可知，在ａ的不同取值下，新算法较??ＰａｇｅＲａｎｋ算法的反作弊性能均有提升．当ａ?＝?０时．公式（５）的惩罚因子由作弊页面的关联度决定，因此针??对作弊相关页面的惩罚力度较ａ的其它取值更大：当ａ?＝?１时，惩罚因子则由作弊倾向系数决定，此时针对??全局的惩罚力度较强，并不针对直接将链接指向作弊页面的网页，同时将链接指向这种页面的页面也会受到??一定的连带惩罚；当ａ?＝?０．５时，则综合考虑了两方面因子，并且这两方面因子在惩罚因子中的权重一样，所??以其针对种子页面的反作弊表现介于ａ?＝?０与ａ?＝?１之间．??３?Ｉ?Ｉ?Ｉ?Ｉ?Ｉ?Ｉ?Ｉ?１???□?？＝０??０?Ｓ?￣＾￣？＝０．２５??“????木?ａ＝０．５?‘?＿??／?—＾￣？＝０．７５??２?＿?／?＾―———ｉｔ?？＝ｉ?■??０??１?１?１?１?１?１?Ｉ?Ｉ?Ｉ??２００?４００?６００?８００?１０００?１２００?１４００?１６００?１８００?２０００??ｍ??图４新算法与ＰａｇｅＲａｎｋ算法的对
【参考文献】：
期刊论文
[1]上下文对用户搜索行为的影响[J]. 何秀,牛之贤,孙静宇. 情报杂志. 2012(10)
[2]元搜索引擎中排序融合算法的优化研究[J]. 董乐,谢红薇. 计算机应用与软件. 2012(10)
[3]一种抵抗链接作弊的PageRank改进算法[J]. 贺志明,王丽宏,张刚,程学旗. 中文信息学报. 2012(05)
[4]基于网站影响力的网页排序算法[J]. 张芳,郭常盈. 计算机应用. 2012(06)
[5]基于JavaScript的网页重定向作弊技术研究[J]. 王暾. 计算机与数字工程. 2012(03)
[6]搜索引擎垃圾网页检测模型研究[J]. 贾志洋,夏幼明,高炜,王勇刚. 重庆文理学院学报(自然科学版). 2011(05)
[7]反搜索引擎作弊的相关探讨[J]. 李俊. 网络与信息. 2011(01)
[8]PageRank算法的分析及其改进[J]. 王德广,周志刚,梁旭. 计算机工程. 2010(22)
[9]搜索引擎应对网站作弊的搜索策略和用户的检索策略[J]. 刘俊熙. 现代情报. 2007(06)
本文编号：3092463
本文链接：https://www.wllwen.com/kejilunwen/sousuoyinqinglunwen/3092463.html
