基于改进TCD图像检索和分类的钓鱼检测模型的研究

发布时间：2020-09-30 01:05

　　钓鱼网站检测已经形成钓鱼攻击和钓鱼检测相互博弈的局面。钓鱼检测的方向和技术因为钓鱼攻击技术的不断升级,需要寻求新的角度。在特征计算方面,钓鱼网站检测方法计算钓鱼网站与单一疑似目标网页的相似性,这一特点导致判断钓鱼网站的条件过于简单;在网页特征提取方面,钓鱼网站的检测不仅缺乏对网页和网页特征之间独立性的保证,而且特征提取也只是以网页本身为主。这两方面都造成钓鱼检测技术易于被反检测,从而降低了检测的效率和准确率。因此从基于人类视觉行为降低网页和网页特征的相关度的角度和从复杂化特征计算的角度,针对反检测展开对钓鱼网站检测的研究,主要内容如下:(1)提出基于改进TCD特征空间转换的钓鱼网站检测算法。对能够表达网页外部特征的基元相关性算子(Texton Correlation Descriptor,TCD)进行改进,使其更能契合钓鱼检测对特征的要求。首先改进基元相关性算子中底层纹理特征提取方法;其次提出结合基于位置加权的欧式距离和双十字窗口选择邻域的方法,改进特征相关性统计;然后基于空间关系将图像化网页的集合,映射到新的特征空间中,分离网页和网页特征之间的相关度从而达到反检测目的;最后利用大量图像化网页之间的相似关系进一步改进TCD算子。实验表明,将改进的TCD算子应用到钓鱼网站识别中,具有令人满意的稳定性和精确度。(2)提出基于结构化文档模型的钓鱼网站检测算法。利用人类的视觉行为,网页内部代码特征与网页布局的关系,提出基于网页的主视觉区域的结构化文档DMVA(Document Based on Main Visual Area)模型检测钓鱼网站。首先提出子间归并算法(Merge Algorithm Between Child Nodes,MABC)生成网页的视觉分块和分层DOM树;其次结合用户的视觉行为和分层DOM树的分层结构,提取网页的主视觉区域;然后获取网页的分层主视觉区域中的文本信息,进而构造网页的DMVA对网页重构,降低网页和网页特征的相关度;最后提出相关网站集,计算待测网站DMVA和相关网站集中网页的DMVA的相似性,检测钓鱼网站。实验证明,基于DMVA模型的钓鱼网站检测算法具有较好检测准确度。(3)提出基于改进TCD图像检索和分类的钓鱼检测模型。结合TCD算子表达网页外部特征的优势和DMVA文档包含网页内部特征的优势,首先将网页图像化;其次基于DMVA模型构造包含视觉信息的视觉分层TCD算子;然后构造TCD-PLSA四层概率潜在语义模型对网页分类;最终在相应分类中通过网页检索和特征转换,计算网页之间的相似性,判断待检测网站是否是钓鱼网站。TCD-PLSA模型的离线训练部分涉及的数据规模大,采用Map Reduce对其进行并行化设计。实验证明基于改进TCD图像检索与分类的钓鱼检测模型具有良好的稳定性和钓鱼检测准确度。
【学位单位】：中国矿业大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：TP391.41;TP393.08
【部分图文】：

网站,分类统计

1-2 PhishLabs.com 2018 年钓鱼网站分类统计ification of phishing sites counted by PhishLabs.c产损失、社会关系破坏以及受害者精神检测技术的发展。钓鱼攻击以钓鱼网站检测为主要研究方向。随着研究人员对断探索，钓鱼网站检测技术不断发展。发展趋势一样，钓鱼攻击者的技术也在出便换一个域名或者消停一段时间再死势。钓鱼攻击者已经开始研究现有的钓构建可以躲避检测的钓鱼网站。由此，检测则需要改变思路和角度，提高钓鱼检遵循特征提取和特征计算的步骤[8]。特应的网页特征用以有效地表达网页；特对钓鱼网站检测。当前钓鱼网站检测提的行为特征。若能够将二者结合，钓鱼

层次图,算子,网页,外部特征

8图 1-4 本文主要研究内容的层次图Figure 1-4 The hierarchy diagram of the main research content of this paper1) 采用基于图像的钓鱼检测技术对网页的外部特征进行研究提出基于改进TCD 特征空间转换的钓鱼检测算法。TCD 算子具有两点特征：（1）TCD 算子的提取过程遵循人类的视觉行为；（2）TCD 算子考虑到的特征之间相对位置关系类比于网页外部特征布局的颜色对比。在提取网页 TCD 算子时，

检索性能,图像数据,图像检索

可行的经典算法和检测效果较好的算法，对改进 TCD 算子特征空间转换的钓鱼检测算法的有效性以及准确度进行验证。在验证改进 TCD 图像检索的精确度时，分别采取 TCD 图像检索与改进 TCD图像检索在 Corel-1000 和 Corel-10k 数据集中检索数据集中的每幅图像。选择输出的图像数目从 10~100 幅，统计每类图像检索得到的查全率和查准率求平均值。查全率由公式（3-27），查准率由公式（3-25）决定。 ( ) ( )× κ ( )其中， ( )指系统中相关图像总数。图 3-6 为改进 TCD 图像检索和 TCD 图像检索通过实验得出的结果的对比。由图 3-6(a)可以看出改进 TCD 算子在 Corel-1000 图像数据集中，在输出图像数量相同情况下，查准率和查全率都比 TCD 算子高。图 3-6(b)中的结果是在 Corel-10K 图像数据集中的比较，可以看出随着输出图像数目的增加，改进 TCD 算子的查准率下降趋势较慢，查全率增加较快。由此可以认为改进 TCD 算子在图像检索中具有较高的性能。

【相似文献】