大数据环境下校园网行为挖掘关键问题的研究与应用

发布时间：2018-01-08 08:27

本文关键词：大数据环境下校园网行为挖掘关键问题的研究与应用　出处：《郑州轻工业学院》2017年硕士论文　论文类型：学位论文

【摘要】：互联网对人们的日常生活有着重要的影响,随着人们使用互联网的方式方法和应用类型日趋多元化,由此产生的用户网络行为数据量也在迅速增长。从海量的网络行为数据中挖掘出可用的信息,不仅具有很大的研究价值和商业价值,还可以为政府提供决策支持,为人们的生产和生活提供指导依据。本文主要在大数据环境下围绕网络行为数据采集、建模、分析和挖掘开展了系统性的研究,结合学生学习成绩进行数据挖掘,分析了网络行为对学习成绩的影响。(1)在数据采集方面,针对在万兆网络环境中使用通用服务器采集数据包存在性能不足这一问题,从软硬件两方面对问题进行了分析,并对近年国际上新出现的报文捕获方案进行了对比试验,给出了在万兆网络环境中使用通用服务器线速采集数据包的方法,并对协议识别方法进行了研究。(2)在描述性分析阶段,针对在大数据环境下分析观测网络行为数据存在难度大的问题,使用Pentaho平台对数据进行了清洗转换,实现了一个WEB端的可视化观测环境,设计了多维分析模型,满足了研究工作中描述性分析的需要。(3)在指标运算方面,针对使用传统方法处理海量网络行为数据存在效率低的问题,使用Pentaho平台调用Hadoop组件和R插件的方法对采集到的网络行为数据进行并行运算,并利用颗粒度放大方法和箱线图法对网络行为数据进行归约,解决了数据处理过程中处理效率低的问题。(4)利用网络行为指标和学生成绩数据开展了挖掘研究工作,采用线性支持向量机(Linear SVM)、梯度上升树(Gradient Boosted Trees,GBT)和K最近邻(KNN)等算法检验了学生的学习能力对学习成绩的影响程度,利用C4.5决策树挖掘出了网络行为对课程成绩和学习绩点的影响,找出了对学习影响较大的几种网络应用,并给出了需要对学生进行干预的阈值。
[Abstract]:This paper analyzes the problem of network behavior data acquisition , modeling , analysis and mining by using the method of collecting , modeling , analyzing and mining the network behavior data in the environment of large data .

【学位授予单位】：郑州轻工业学院
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：TP311.13

【参考文献】