当前位置:主页 > 管理论文 > 移动网络论文 >

基于DNS日志的用户访问行为分析和研究

发布时间:2024-02-02 20:50
  国内的各个高校先后建设了自己的校园网络,实现了教育信息化和互联网化。快速便捷的校园网络为高校师生提供了丰富的资源,开阔了学生的眼界。用户在使用网络获取信息的同时,会产生大量的访问数据,从海量的用户访问数据中挖掘出有价值的信息成为近年来的研究热点。在复杂繁多的日志中提取有价值的信息并对这些信息进行分析和建模是本文研究的主要内容。本文以学校信息中心的DNS日志为数据源,所做的主要工作如下:(1)对原日志数据过滤和清洗。去除重复和无用的数据,为以后的数据分析打下基础。(2)对日志中用户访问域名分类的研究。在DNS日志中,用户访问的域名是一个非常重要的字段,通过对域名的归类,能够得到用户的部分网络访问特征。本文采用域名分类库和域名分类器两种工具相结合的方法对域名进行主题归类。域名分类库的建立是通过网络爬虫爬取域名分类网站得到的。域名分类器则是采用机器学习算法在大量的已经归好主题类别的域名基础上训练得到的,主要作用是对未在域名分类库中匹配到的域名归类。(3)对用户网络访问特征聚类的研究和分析。通过对用户访问的域名标签化处理,得到用户行为特征向量,之后进一步对这些数据做聚类分析,得到不同的用户群的...

【文章页数】:75 页

【学位级别】:硕士

【部分图文】:

图2-1?DNS任务描述??Figure?2-1?Task?Description?of?DNS??

图2-1?DNS任务描述??Figure?2-1?Task?Description?of?DNS??

??域名系统的主要任务是将域名“翻译”成IP地址,从而保证客户端浏览器根??据IP地址找到服务器,获取服务器端的信息它的任务描述如图2-1所示。在??图中DNS将域名www.qq.com?“翻译”成了?IPv4的地址221.179.46.190。表面上看??起来DNS和HOST.....


图2-2?DNS结构图??Figure?2-2?Architecture?of?DNS??

图2-2?DNS结构图??Figure?2-2?Architecture?of?DNS??

??域名系统的主要任务是将域名“翻译”成IP地址,从而保证客户端浏览器根??据IP地址找到服务器,获取服务器端的信息它的任务描述如图2-1所示。在??图中DNS将域名www.qq.com?“翻译”成了?IPv4的地址221.179.46.190。表面上看??起来DNS和HOST.....


图2-3?Hadoop生态圈??Figure?2-3?Hadoop?ecosphere??HDF、MaReduce、Yam,

图2-3?Hadoop生态圈??Figure?2-3?Hadoop?ecosphere??HDF、MaReduce、Yam,

超大集群的简单数据处理》,从此揭幵了大数据处理发展的序幕。同年,Doug?Cutting??将GFS和Map?Reduce加入Nutch项目。2006年,Nutch改名为Hadoop。目前,??Hadoop和其他的大数据处理组件相互配合使用组成了?Hadoop生态系统,图2-3展....


图2-4?HDFS存储架构??Figure?2-4?HDFS?storage?architecture??

图2-4?HDFS存储架构??Figure?2-4?HDFS?storage?architecture??

Map?Reduce是一个分布式计算模型,计算过程主要由两部分组成Map和??Reduce。Map将任务分割成更小的任务,由每台机器分别运行,Reduce负责将所??有机器的运算结果汇总整理,返回最后结果,计算过程如图2-5所示。通过Map??Reduce方式,可以在上千台机器上....



本文编号:3893148

资料下载
论文发表

本文链接:https://www.wllwen.com/guanlilunwen/ydhl/3893148.html


Copyright(c)文论论文网All Rights Reserved | 网站地图 |

版权申明:资料由用户879d4***提供,本站仅收录摘要或目录,作者需要删除请E-mail邮箱bigeng88@qq.com