基于DNS日志的用户访问行为分析和研究

发布时间：2024-02-02 20:50

　　国内的各个高校先后建设了自己的校园网络,实现了教育信息化和互联网化。快速便捷的校园网络为高校师生提供了丰富的资源,开阔了学生的眼界。用户在使用网络获取信息的同时,会产生大量的访问数据,从海量的用户访问数据中挖掘出有价值的信息成为近年来的研究热点。在复杂繁多的日志中提取有价值的信息并对这些信息进行分析和建模是本文研究的主要内容。本文以学校信息中心的DNS日志为数据源,所做的主要工作如下:(1)对原日志数据过滤和清洗。去除重复和无用的数据,为以后的数据分析打下基础。(2)对日志中用户访问域名分类的研究。在DNS日志中,用户访问的域名是一个非常重要的字段,通过对域名的归类,能够得到用户的部分网络访问特征。本文采用域名分类库和域名分类器两种工具相结合的方法对域名进行主题归类。域名分类库的建立是通过网络爬虫爬取域名分类网站得到的。域名分类器则是采用机器学习算法在大量的已经归好主题类别的域名基础上训练得到的,主要作用是对未在域名分类库中匹配到的域名归类。(3)对用户网络访问特征聚类的研究和分析。通过对用户访问的域名标签化处理,得到用户行为特征向量,之后进一步对这些数据做聚类分析,得到不同的用户群的...

【文章页数】：75 页

【学位级别】：硕士

【部分图文】：

图２－１?ＤＮＳ任务描述??Ｆｉｇｕｒｅ?２－１?Ｔａｓｋ?Ｄｅｓｃｒｉｐｔｉｏｎ?ｏｆ?ＤＮＳ??

??域名系统的主要任务是将域名“翻译”成ＩＰ地址，从而保证客户端浏览器根??据ＩＰ地址找到服务器，获取服务器端的信息它的任务描述如图２－１所示。在??图中ＤＮＳ将域名ｗｗｗ．ｑｑ．ｃｏｍ?“翻译”成了?ＩＰｖ４的地址２２１．１７９．４６．１９０。表面上看??起来ＤＮＳ和ＨＯＳＴ．....

图２－２?ＤＮＳ结构图??Ｆｉｇｕｒｅ?２－２?Ａｒｃｈｉｔｅｃｔｕｒｅ?ｏｆ?ＤＮＳ??

??域名系统的主要任务是将域名“翻译”成ＩＰ地址，从而保证客户端浏览器根??据ＩＰ地址找到服务器，获取服务器端的信息它的任务描述如图２－１所示。在??图中ＤＮＳ将域名ｗｗｗ．ｑｑ．ｃｏｍ?“翻译”成了?ＩＰｖ４的地址２２１．１７９．４６．１９０。表面上看??起来ＤＮＳ和ＨＯＳＴ．....

图２－３?Ｈａｄｏｏｐ生态圈??Ｆｉｇｕｒｅ?２－３?Ｈａｄｏｏｐ?ｅｃｏｓｐｈｅｒｅ??ＨＤＦ、ＭａＲｅｄｕｃｅ、Ｙａｍ，

超大集群的简单数据处理》，从此揭幵了大数据处理发展的序幕。同年，Ｄｏｕｇ?Ｃｕｔｔｉｎｇ??将ＧＦＳ和Ｍａｐ?Ｒｅｄｕｃｅ加入Ｎｕｔｃｈ项目。２００６年，Ｎｕｔｃｈ改名为Ｈａｄｏｏｐ。目前，??Ｈａｄｏｏｐ和其他的大数据处理组件相互配合使用组成了?Ｈａｄｏｏｐ生态系统，图２－３展....

图２－４?ＨＤＦＳ存储架构??Ｆｉｇｕｒｅ?２－４?ＨＤＦＳ?ｓｔｏｒａｇｅ?ａｒｃｈｉｔｅｃｔｕｒｅ??

Ｍａｐ?Ｒｅｄｕｃｅ是一个分布式计算模型，计算过程主要由两部分组成Ｍａｐ和??Ｒｅｄｕｃｅ。Ｍａｐ将任务分割成更小的任务，由每台机器分别运行，Ｒｅｄｕｃｅ负责将所??有机器的运算结果汇总整理，返回最后结果，计算过程如图２－５所示。通过Ｍａｐ??Ｒｅｄｕｃｅ方式，可以在上千台机器上....

本文编号：3893148