高校网站日志分析系统的研究与实现
发布时间：2021-03-01 22:44
在“互联网+教育”的时代背景下,高校在校园信息化建设的过程中积累了大量的数据,做好数据的治理和服务从而优化信息化服务环境,是新时代高校信息化建设面临的新课题。同时,高校网站作为信息化服务环境的重要组成部分,功能日益丰富多样。其作用不仅是进行信息发布,更是开展交流,提供服务的重要途径和有效手段。因此,通过分析高校的网站日志,获取网站的受访信息,从而了解用户的访问态势,对网站建设者和管理者具有重要的意义。然而目前通过分析网站日志数据来获取网站建设情况的高校还相对较少。部分院校采用传统的通过网页收集信息的方法效率低下,信息量少,实时性较差。运用大数据相关技术研发针对高校的网站日志分析系统,能够直观、准确、全方位的反应网站的受访情况,对提升高校信息化的智能程度具有重要的意义。本文以高校网站日志分析系统的研究与实现为研究内容,在对Spark现有功能研究的基础上,结合多种分布式技术,提出了一种对网站日志数据进行动态并行分析的流式批处理方法。探讨了网站日志分析过程中所用到的关键技术,分析了高校网站日志分析系统的功能需求。并在此基础上梳理了网站日志分析系统的设计流程,从日志的采集、日志的缓存、日志的分...
【文章来源】：西北大学陕西省 211工程院校
【文章页数】：69 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
缩略语对照表
第一章 绪论
1.1 研究的背景与意义
1.1.1 研究的背景
1.1.2 研究的意义
1.2 国内外研究现状
1.3 本文主要的研究工作
1.4 论文的组织结构
第二章 关键技术研究
2.1 数据采集技术
2.2 数据缓存技术
2.2.1 Kafka缓存队列
2.2.2 Zookeeper分布式协调服务
2.3 数据分析技术
2.3.1 大数据分析技术
2.3.2 日志数据分析方法
2.4 数据存储技术
2.5 可视化相关技术
2.5.1 SpringBoot
2.5.2 MyBatis
2.5.3 Web前端技术
2.6 小结
第三章 系统需求分析
3.1 系统的整体需求分析
3.1.1 系统的功能性需求分析
3.1.2 系统的非功能性需求分析
3.2 系统中各个模块的功能需求
3.3 小结
第四章 系统的详细设计
4.1 系统的总体架构
4.2 日志采集模块的设计
4.3 日志缓存模块的设计
4.4 日志分析模块的设计
4.4.1 日志数据预处理
4.4.2 日志数据分析
4.4.3 集群运行
4.5 结果存储模块的设计
4.6 动态可视化模块的设计
4.7 小结
第五章 系统的功能实现
5.1 系统的环境配置
5.2 日志采集模块的实现
5.3 日志缓存模块的实现
5.4 日志分析模块的实现
5.5 动态可视化模块的实现
5.6 系统测试
5.7 小结
第六章 总结与展望
6.1 工作总结
6.2 工作展望
参考文献
致谢
攻读硕士学位期间取得的科研成果
【参考文献】：
期刊论文
[1]基于Kafka的分布式能效管理平台的设计与实现[J]. 朱幼普,卢军. 计算机与数字工程. 2018(12)
[2]基于大数据和人工智能的高校信息化服务研究[J]. 杨龙. 实验技术与管理. 2018(11)
[3]智慧校园建设中大数据技术的应用[J]. 李国平. 教育现代化. 2018(43)
[4]基于Spark Streaming的实时交通数据处理平台[J]. 谭亮,周静. 计算机系统应用. 2018(10)
[5]基于教育大数据生态体系的高校智慧校园建设研究[J]. 余鹏,李艳. 中国电化教育. 2018(06)
[6]大数据技术在智慧校园中的应用研究[J]. 陈向东,李静蕾. 电脑知识与技术. 2018(15)
[7]数据库技术的发展[J]. 黄丽. 科技风. 2018(14)
[8]大数据技术在智慧校园管理中的应用[J]. 邵莉. 电子技术与软件工程. 2018(08)
[9]SpringBoot框架在web应用开发中的探讨[J]. 吕宇琛. 科技创新导报. 2018(08)
[10]网络安全日志可视化分析研究进展[J]. 张胜,赵珏,陈荣元. 计算机科学与探索. 2018(05)
博士论文
[1]大数据对我国高校教育管理的影响及对策研究[D]. 陈桂香.武汉大学 2017
[2]基于数据挖掘的Web日志分析研究[D]. 李春雅.武汉大学 2016
硕士论文
[1]云环境下流式数据预处理机制优化研究[D]. 刘威.南京邮电大学 2018
[2]基于ZooKeeper的配置中心系统设计与实现[D]. 董龙成.西安电子科技大学 2018
[3]基于Spark的用户行为分析系统的设计与实现[D]. 殷乐.战略支援部队信息工程大学 2018
[4]基于ELK Stack的实时日志分析系统的设计与实现[D]. 王裕辰.北京邮电大学 2018
[5]国内外大数据教育应用研究的对比研究[D]. 凌霄.深圳大学 2017
[6]面向移动新闻的日志收集分析系统的设计与实现[D]. 傅韧峤.北京交通大学 2017
[7]多终端一体化高校网站群研究与应用[D]. 赵文科.西北大学 2017
[8]基于Kafka的日志处理平台的研究[D]. 费秀宏.吉林大学 2017
[9]基于Storm的实时日志分析系统的设计与实现[D]. 屈国庆.南京大学 2016
[10]四川移动PUSH信息服务云模块的设计与实现[D]. 谭典.电子科技大学 2015
本文编号：3058130
【文章来源】：西北大学陕西省 211工程院校
【文章页数】：69 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
缩略语对照表
第一章 绪论
1.1 研究的背景与意义
1.1.1 研究的背景
1.1.2 研究的意义
1.2 国内外研究现状
1.3 本文主要的研究工作
1.4 论文的组织结构
第二章 关键技术研究
2.1 数据采集技术
2.2 数据缓存技术
2.2.1 Kafka缓存队列
2.2.2 Zookeeper分布式协调服务
2.3 数据分析技术
2.3.1 大数据分析技术
2.3.2 日志数据分析方法
2.4 数据存储技术
2.5 可视化相关技术
2.5.1 SpringBoot
2.5.2 MyBatis
2.5.3 Web前端技术
2.6 小结
第三章 系统需求分析
3.1 系统的整体需求分析
3.1.1 系统的功能性需求分析
3.1.2 系统的非功能性需求分析
3.2 系统中各个模块的功能需求
3.3 小结
第四章 系统的详细设计
4.1 系统的总体架构
4.2 日志采集模块的设计
4.3 日志缓存模块的设计
4.4 日志分析模块的设计
4.4.1 日志数据预处理
4.4.2 日志数据分析
4.4.3 集群运行
4.5 结果存储模块的设计
4.6 动态可视化模块的设计
4.7 小结
第五章 系统的功能实现
5.1 系统的环境配置
5.2 日志采集模块的实现
5.3 日志缓存模块的实现
5.4 日志分析模块的实现
5.5 动态可视化模块的实现
5.6 系统测试
5.7 小结
第六章 总结与展望
6.1 工作总结
6.2 工作展望
参考文献
致谢
攻读硕士学位期间取得的科研成果
【参考文献】：
期刊论文
[1]基于Kafka的分布式能效管理平台的设计与实现[J]. 朱幼普,卢军. 计算机与数字工程. 2018(12)
[2]基于大数据和人工智能的高校信息化服务研究[J]. 杨龙. 实验技术与管理. 2018(11)
[3]智慧校园建设中大数据技术的应用[J]. 李国平. 教育现代化. 2018(43)
[4]基于Spark Streaming的实时交通数据处理平台[J]. 谭亮,周静. 计算机系统应用. 2018(10)
[5]基于教育大数据生态体系的高校智慧校园建设研究[J]. 余鹏,李艳. 中国电化教育. 2018(06)
[6]大数据技术在智慧校园中的应用研究[J]. 陈向东,李静蕾. 电脑知识与技术. 2018(15)
[7]数据库技术的发展[J]. 黄丽. 科技风. 2018(14)
[8]大数据技术在智慧校园管理中的应用[J]. 邵莉. 电子技术与软件工程. 2018(08)
[9]SpringBoot框架在web应用开发中的探讨[J]. 吕宇琛. 科技创新导报. 2018(08)
[10]网络安全日志可视化分析研究进展[J]. 张胜,赵珏,陈荣元. 计算机科学与探索. 2018(05)
博士论文
[1]大数据对我国高校教育管理的影响及对策研究[D]. 陈桂香.武汉大学 2017
[2]基于数据挖掘的Web日志分析研究[D]. 李春雅.武汉大学 2016
硕士论文
[1]云环境下流式数据预处理机制优化研究[D]. 刘威.南京邮电大学 2018
[2]基于ZooKeeper的配置中心系统设计与实现[D]. 董龙成.西安电子科技大学 2018
[3]基于Spark的用户行为分析系统的设计与实现[D]. 殷乐.战略支援部队信息工程大学 2018
[4]基于ELK Stack的实时日志分析系统的设计与实现[D]. 王裕辰.北京邮电大学 2018
[5]国内外大数据教育应用研究的对比研究[D]. 凌霄.深圳大学 2017
[6]面向移动新闻的日志收集分析系统的设计与实现[D]. 傅韧峤.北京交通大学 2017
[7]多终端一体化高校网站群研究与应用[D]. 赵文科.西北大学 2017
[8]基于Kafka的日志处理平台的研究[D]. 费秀宏.吉林大学 2017
[9]基于Storm的实时日志分析系统的设计与实现[D]. 屈国庆.南京大学 2016
[10]四川移动PUSH信息服务云模块的设计与实现[D]. 谭典.电子科技大学 2015
本文编号：3058130
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3058130.html
