基于Hadoop的网络用户行为分析

发布时间：2017-11-09 01:29

  本文关键词：基于Hadoop的网络用户行为分析

  更多相关文章： 校园网 Map Reduce 用户网络行为 Hive QL技术 K-means聚类

【摘要】：网络已经成为人们学习、工作和生活中必不可少的重要组成部分。校园网作为高校教学、科研和信息服务的基础平台,已经成为衡量高校信息化建设和智慧校园建设的重要指标之一。随着校园网中各种网络应用的增多,产生了以日志形式存在的海量网络用户行为数据。与此同时,校园网规模的日益扩大和用户人数的增长,给校园网优化升级和日常运维管理带来了许多问题。另外,学生用户过度使用网络不仅给自身的学习、生活和身心健康带来了巨大危害,而且为高校学生教育管理工作提出了新的要求。因此,校园网用户网络行为分析,有助于高校网络管理部门制定和完善更加合理有效的网络管理制度和日常运维策略;为广大师生提高安全、快速和可靠的网络环境;有助于高校学生管理部门及时了解和发现学生的思想动态和学习状况等有用信息。本文在西北民族大学校园网基础上,以校园网络核心交换机H3C-12508网络镜像端口用户访问网络的点击流日志和深蓝计费网关Srun3000的用户登录数据作为研究对象,主要针对校园网用户中学生用户在线行为展开研究。本文主要研究工作如下:1.搭建了包含Hive和Sqoop子项目的分布式Hadoop实验环境;2.在Hadoop集群下,预处理校园网用户行为数据和进行用户类别划分;3.采用Hive QL查询技术,对校园网用户群体行为从五个方面展开研究,即不同时段在线用户人数分析、用户在线时间长度分析、用户访问的目的地址分析、用户在线流量分析和学生异常行为分析。用户访问的目的地址分析中,为了加快目的地址统计和排序的速度,编写了一个Linux Shell脚本用于目的地址统计和排序,并取得了良好的运行效果。通过对不同年级、不同培养层次和不同学院学生用户在线时长、使用网络流量和在线人数等方面进行对比研究,并对不同学生用户群体中出现网络行为异常的原因作了初步的探讨和分析,给出了具有针对性的意见和建议;4.对学生用户群体行为展开聚类分析。首先利用K-means聚类算法并行化的思路,找出了该算法的实现方法;接着编写Mapper函数和Reducer函数实现K-means算法;最后,从用户在线时长、下行流量和上行流量角度出发,对用户网络行为进行聚类研究,将用户划分为5个类别,并对每个类别产生的原因和其特征进行了深入细致的分析。总之,上述校园网用户行为研究,对于高校网络管理和学生管理具有重要的参考价值和指导意义。
【学位授予单位】：兰州理工大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.13

【参考文献】

中国期刊全文数据库 前10条

1 宁家骏;;“互联网+”行动计划的实施背景、内涵及主要内容[J];电子政务;2015年06期

2 刘向东;刘奎;胡飞翔;王翠荣;;基于MapReduce的并行聚类算法设计与实现[J];计算机应用与软件;2014年11期

3 邓甜甜;熊荫乔;刘建娥;;基于计费系统的校园网用户行为分析[J];长沙大学学报;2014年02期

4 刘智慧;张泉灵;;大数据技术研究综述[J];浙江大学学报(工学版);2014年06期

5 赵龙;江荣安;;基于Hive的海量搜索日志分析系统研究[J];计算机应用研究;2013年11期

6 毛典辉;;基于MapReduce的Canopy-Kmeans改进算法[J];计算机工程与应用;2012年27期

7 刘永增;张晓景;李先毅;;基于Hadoop/Hive的web日志分析系统的设计[J];广西大学学报(自然科学版);2011年S1期

8 余慧佳;刘奕群;张敏;茹立云;马少平;;基于大规模日志分析的搜索引擎用户行为分析[J];中文信息学报;2007年01期

9 李一;;网络行为:一个网络社会学概念的简要分析[J];兰州大学学报;2006年05期

10 董一鸿,庄越挺;基于新型的竞争型神经网络的Web日志挖掘[J];计算机研究与发展;2003年05期

中国博士学位论文全文数据库 前1条

1 刘鹏;网络用户行为分析的若干问题研究[D];北京邮电大学;2010年

中国硕士学位论文全文数据库 前6条

1 任思颖;基于大数据的网络用户行为分析[D];北京邮电大学;2015年

2 郝增勇;基于Hadoop用户行为分析系统设计与实现[D];北京交通大学;2014年

3 徐丹;影响大学生网络成瘾相关因素分析及划分网络成瘾上网时间阈限的确定[D];西北大学;2010年

4 丁青;基于校园网用户行为日志的数据挖掘研究[D];南京农业大学;2009年

5 王东亚;校园网络行为分析的研究[D];北京交通大学;2007年

6 董富强;网络用户行为分析研究及其应用[D];西安电子科技大学;2005年

，

本文编号：1159753