基于Hadoop的上网日志分析系统的设计与实现
发布时间：2021-01-14 19:00
在高校学生数量不断增多的今天,如何更好的实现对学生的精准管理,成为了目前高校主要关心的问题。本文主要从学生上网日志数据出发,通过学生使用校园网浏览网页所留下的上网日志数据进行分析,了解其上网时长与上网偏好,从而可以针对学生日常上网习惯对其进行管理,为此设计并实现一个基于Hadoop平台的校园网上网日志分析系统。本文讲述了系统研究的背景、目的与意义,并对系统涉及到的相关技术的工作原理进行了概述;对系统进行了总体的需求分析并按照系统所要实现的功能进行了模块的划分;在进行了详细的需求分析后,对系统进行了具体的硬件平台构建以及各个功能模块设计,对学生的上网日志数据进行结构化处理与可视化展示;并对可视化展示的结果进行分析,根据目前学生的上网行为与上网偏好,从中归纳总结出一些对于当前高校学生管理的建议,最后,对整个系统进行了总结与展望。本文研究的上网日志数据分析平台,通过对于学生上网日志数据进行抽取、处理与展示,可以从中分析出学生的日常上网时长与上网偏好,高校可以利用实时的处理结果,对学生的上网行为进行管理,对学生的上网偏好加以引导,从而规范学生上网行为,促进精准督学,帮助学生更好的完成学业。
【文章来源】：安徽工业大学安徽省
【文章页数】：58 页
【学位级别】：硕士
【部分图文】：
Agent基本结构图
图 4-4 运行中的服务节点屏幕截图4.3.1 上网时长可视化展示及分析对于上网时长的分析，主要是针对每一个学生，获取其不同时间段内的上网时长，从而可以进一步分析其目前对于网络的使用程度，同时可以联系其它数据如该生的上课考勤数据、期中/期末考试数据结合分析，综合分析出该名学生的上网情况。此处选取某一学生进行数据时长数据的展示如图 4-5 所示。图 4-5 学生上网时长数据屏幕截图通过上图可以看出，展示的数据有学生学号、性别、接入网络事件、断开
图 4-4 运行中的服务节点屏幕截图4.3.1 上网时长可视化展示及分析对于上网时长的分析，主要是针对每一个学生，获取其不同时间段内的上网时长，从而可以进一步分析其目前对于网络的使用程度，同时可以联系其它数据如该生的上课考勤数据、期中/期末考试数据结合分析，综合分析出该名学生的上网情况。此处选取某一学生进行数据时长数据的展示如图 4-5 所示。
【参考文献】：
期刊论文
[1]基于Hive的支付SDK日志分析系统的设计研究[J]. 王建辉,李涛. 计算机应用与软件. 2017(07)
[2]基于大数据集群架构的数据管理系统设计[J]. 王华涛. 电脑与信息技术. 2016(06)
[3]基于Flume的分布式日志采集分析系统设计与实现[J]. 陈飞,艾中良. 软件. 2016(12)
[4]基于大数据平台的日志分析预警技术研究[J]. 周平,马斌,韩冰,苏宇晨. 电脑知识与技术. 2016(32)
[5]适应用户兴趣变化的改进型协同过滤算法[J]. 胡伟健,滕飞,李灵芳,王欢. 计算机应用. 2016(08)
[6]基于Hadoop的云计算平台研究与实现[J]. 范素娟,田军锋. 计算机技术与发展. 2016(07)
[7]跨平台网络设备日志整理与分析系统研究[J]. 潘威华. 江苏科技信息. 2016(05)
[8]基于Spark技术的网络大数据分析平台搭建与应用[J]. 詹义,方媛. 互联网天地. 2016(02)
[9]基于用户兴趣变化的数字图书馆知识推荐服务研究[J]. 曾子明,金鹏. 图书馆论坛. 2016(01)
[10]基于Hadoop的用电信息大数据计算服务及应用[J]. 王相伟,史玉良,张建林,梁波,程翠萍. 电网技术. 2015(11)
硕士论文
[1]基于Hadoop的离线数据分析平台设计与实现[D]. 朱雪.河北工程大学 2018
[2]基于Hadoop的大数据处理平台设计与实现[D]. 何同飞.大连理工大学 2017
[3]校园无线网络日志大数据分析平台的研究与实现[D]. 郗超.内蒙古农业大学 2017
[4]基于HBase数据管理平台的设计和实现[D]. 李东奎.北京邮电大学 2017
[5]基于用户上网日志的数据挖掘技术研究[D]. 程斐斐.贵州大学 2016
[6]基于SQL和NoSQL的混合存储系统的设计与实现[D]. 肖光昭.北京理工大学 2016
[7]IT运维大数据平台日志分析系统研究[D]. 周亮彪.中南林业科技大学 2016
[8]基于Hadoop的电信大数据分析的设计与实现[D]. 曹茜茜.西安科技大学 2015
[9]基于Hadoop的数字博物馆构建研究[D]. 崔峰峰.西北师范大学 2015
[10]基于分布式计算的海量日志数据分析平台的设计与实现[D]. 陈超.北京邮电大学 2015
本文编号：2977364
【文章来源】：安徽工业大学安徽省
【文章页数】：58 页
【学位级别】：硕士
【部分图文】：
Agent基本结构图
图 4-4 运行中的服务节点屏幕截图4.3.1 上网时长可视化展示及分析对于上网时长的分析，主要是针对每一个学生，获取其不同时间段内的上网时长，从而可以进一步分析其目前对于网络的使用程度，同时可以联系其它数据如该生的上课考勤数据、期中/期末考试数据结合分析，综合分析出该名学生的上网情况。此处选取某一学生进行数据时长数据的展示如图 4-5 所示。图 4-5 学生上网时长数据屏幕截图通过上图可以看出，展示的数据有学生学号、性别、接入网络事件、断开
图 4-4 运行中的服务节点屏幕截图4.3.1 上网时长可视化展示及分析对于上网时长的分析，主要是针对每一个学生，获取其不同时间段内的上网时长，从而可以进一步分析其目前对于网络的使用程度，同时可以联系其它数据如该生的上课考勤数据、期中/期末考试数据结合分析，综合分析出该名学生的上网情况。此处选取某一学生进行数据时长数据的展示如图 4-5 所示。
【参考文献】：
期刊论文
[1]基于Hive的支付SDK日志分析系统的设计研究[J]. 王建辉,李涛. 计算机应用与软件. 2017(07)
[2]基于大数据集群架构的数据管理系统设计[J]. 王华涛. 电脑与信息技术. 2016(06)
[3]基于Flume的分布式日志采集分析系统设计与实现[J]. 陈飞,艾中良. 软件. 2016(12)
[4]基于大数据平台的日志分析预警技术研究[J]. 周平,马斌,韩冰,苏宇晨. 电脑知识与技术. 2016(32)
[5]适应用户兴趣变化的改进型协同过滤算法[J]. 胡伟健,滕飞,李灵芳,王欢. 计算机应用. 2016(08)
[6]基于Hadoop的云计算平台研究与实现[J]. 范素娟,田军锋. 计算机技术与发展. 2016(07)
[7]跨平台网络设备日志整理与分析系统研究[J]. 潘威华. 江苏科技信息. 2016(05)
[8]基于Spark技术的网络大数据分析平台搭建与应用[J]. 詹义,方媛. 互联网天地. 2016(02)
[9]基于用户兴趣变化的数字图书馆知识推荐服务研究[J]. 曾子明,金鹏. 图书馆论坛. 2016(01)
[10]基于Hadoop的用电信息大数据计算服务及应用[J]. 王相伟,史玉良,张建林,梁波,程翠萍. 电网技术. 2015(11)
硕士论文
[1]基于Hadoop的离线数据分析平台设计与实现[D]. 朱雪.河北工程大学 2018
[2]基于Hadoop的大数据处理平台设计与实现[D]. 何同飞.大连理工大学 2017
[3]校园无线网络日志大数据分析平台的研究与实现[D]. 郗超.内蒙古农业大学 2017
[4]基于HBase数据管理平台的设计和实现[D]. 李东奎.北京邮电大学 2017
[5]基于用户上网日志的数据挖掘技术研究[D]. 程斐斐.贵州大学 2016
[6]基于SQL和NoSQL的混合存储系统的设计与实现[D]. 肖光昭.北京理工大学 2016
[7]IT运维大数据平台日志分析系统研究[D]. 周亮彪.中南林业科技大学 2016
[8]基于Hadoop的电信大数据分析的设计与实现[D]. 曹茜茜.西安科技大学 2015
[9]基于Hadoop的数字博物馆构建研究[D]. 崔峰峰.西北师范大学 2015
[10]基于分布式计算的海量日志数据分析平台的设计与实现[D]. 陈超.北京邮电大学 2015
本文编号：2977364
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/2977364.html
