基于Spark的用户行为分析系统研究及实现
发布时间：2021-04-27 19:07
近年来,随着互联网技术的快速发展,网络用户数量快速增长,产生了大量的网络用户数据,这为互联网企业带来了机遇和挑战。一方面,对这些数据进行分析可让企业更了解用户,帮助企业及时做出正确的决策,从而为企业创造巨大的价值。另一方面,大规模的用户行为数据在存储、计算、分析以及应用等方面对互联网企业来说都是一个非常大的技术挑战,特别是面对短时间内产生的海量实时行为数据,一直以来都是大数据行业面临的难点。开源社区推出了许多值得关注的大数据分析平台,特别是大家所共知的由Apache所开发的分布式系统基础架构Hadoop。其两大核心组件HDFS分布式文件系统与MapReduce编程模型提供了海量数据的存储与计算功能,其在海量数据的存储与计算处理方面具有高容错、高可靠、低成本等优点,因此在企业中被广泛应用。但利用Hadoop处理海量数据,用户必须自己开发MapReduce程序,一方面,其编程难度大而备受诟病,另一方面,MapReduce也不能满足实时应用的需求。由加州大学伯克利分校的AMP实验室所开源的类Hadoop MapReduce的通用并行框架Spark,提供的核心组件既具有MapReduce的离线...
【文章来源】：长江大学湖北省
【文章页数】：66 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第1章 绪论
1.1 研究背景和意义
1.2 国内外研究现状
1.3 本文研究内容及结构
1.4 本章小结
第2章 相关技术与基本理论
2.1 用户行为分析系统
2.2 Haoop及相关技术
2.3 Spark技术
2.4 JavaWeb技术
2.5 本章小结
第3章 用户行为分析系统的需求分析
3.1 系统需求分析概述
3.2 业务需求分析
3.3 非功能性需求分析
3.4 本章小结
第4章 用户行为分析系统的设计
4.1 系统架构设计
4.2 系统的功能模块设计
4.3 基础数据表设计
4.4 本章小结
第5章 系统实现及其关键技术
5.1 系统环境的搭建
5.2 关键技术实现
5.3 系统测试
5.4 本章小结
第6章 总结与展望
致谢
参考文献
个人简介
【参考文献】：
期刊论文
[1]Spark on Yarn模式的电信大数据处理平台[J]. 杨玉,张远夏. 福建电脑. 2019(03)
[2]基于Spark流计算框架的银行实时存贷款规模系统设计与实现[J]. 周鹏,朱彬,孔在华. 中国金融电脑. 2019(03)
[3]基于Web的数据可视化教学系统设计与实现[J]. 刘霞,张威. 电子设计工程. 2019(05)
[4]基于Hadoop大数据平台的金融产品购买行为分析[J]. 庞双玉. 电子技术与软件工程. 2019(04)
[5]基于Spark Streaming的电力流式大数据分析架构及应用[J]. 田璐,齐林海,李青,王红,田世明,卜凡鹏. 电力信息与通信技术. 2019(02)
[6]基于Hadoop的大数据计算之研究[J]. 张海涛. 电子测试. 2019(04)
[7]基于Kafka的在线教学平台事件中心设计与实现[J]. 张海华,杨秀波,张非,钟磊. 数字通信世界. 2019(02)
[8]云计算平台中分布式Hadoop数据挖掘关键技术研究（英文）[J]. 何婕,赖敏. 机床与液压. 2018(24)
[9]基于Hadoop的MapReduce运行流程研究[J]. 冯祥,张媛媛. 福建电脑. 2018(12)
[10]一个基于Web的轻量级大数据处理与可视化工具[J]. 李炎,马俊明,安博,曹东刚. 计算机科学. 2018(09)
硕士论文
[1]基于Echarts的健身车监测数据可视化系统设计与实现[D]. 文浩.武汉体育学院 2018
[2]基于Hadoop的电信大数据处理的研究及应用[D]. 张思航.华北电力大学(北京) 2017
[3]基于Spark的SQL连接优化研究与应用[D]. 邵帅.北京交通大学 2017
[4]Spark Shuffle的内存调度算法分析及优化[D]. 陈英芝.浙江大学 2016
[5]基于hadoop的网站用户行为分析系统设计与实现[D]. 王电轻.中国科学院大学(工程管理与信息技术学院) 2016
[6]基于代价模型的Spark SQL查询优化研究[D]. 刘春雷.电子科技大学 2016
[7]基于Spark的数据管理平台的设计与实现[D]. 刘鹏.浙江大学 2016
[8]基于Spark的数据处理分析系统的设计与实现[D]. 李爽.北京交通大学 2015
[9]基于Spark的机器学习应用框架研究与实现[D]. 孙科.上海交通大学 2015
[10]基于Spark的网络日志分析系统的设计与实现[D]. 刘季函(Liu,Chi Han).南京大学 2014
本文编号：3164003
【文章来源】：长江大学湖北省
【文章页数】：66 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第1章 绪论
1.1 研究背景和意义
1.2 国内外研究现状
1.3 本文研究内容及结构
1.4 本章小结
第2章 相关技术与基本理论
2.1 用户行为分析系统
2.2 Haoop及相关技术
2.3 Spark技术
2.4 JavaWeb技术
2.5 本章小结
第3章 用户行为分析系统的需求分析
3.1 系统需求分析概述
3.2 业务需求分析
3.3 非功能性需求分析
3.4 本章小结
第4章 用户行为分析系统的设计
4.1 系统架构设计
4.2 系统的功能模块设计
4.3 基础数据表设计
4.4 本章小结
第5章 系统实现及其关键技术
5.1 系统环境的搭建
5.2 关键技术实现
5.3 系统测试
5.4 本章小结
第6章 总结与展望
致谢
参考文献
个人简介
【参考文献】：
期刊论文
[1]Spark on Yarn模式的电信大数据处理平台[J]. 杨玉,张远夏. 福建电脑. 2019(03)
[2]基于Spark流计算框架的银行实时存贷款规模系统设计与实现[J]. 周鹏,朱彬,孔在华. 中国金融电脑. 2019(03)
[3]基于Web的数据可视化教学系统设计与实现[J]. 刘霞,张威. 电子设计工程. 2019(05)
[4]基于Hadoop大数据平台的金融产品购买行为分析[J]. 庞双玉. 电子技术与软件工程. 2019(04)
[5]基于Spark Streaming的电力流式大数据分析架构及应用[J]. 田璐,齐林海,李青,王红,田世明,卜凡鹏. 电力信息与通信技术. 2019(02)
[6]基于Hadoop的大数据计算之研究[J]. 张海涛. 电子测试. 2019(04)
[7]基于Kafka的在线教学平台事件中心设计与实现[J]. 张海华,杨秀波,张非,钟磊. 数字通信世界. 2019(02)
[8]云计算平台中分布式Hadoop数据挖掘关键技术研究（英文）[J]. 何婕,赖敏. 机床与液压. 2018(24)
[9]基于Hadoop的MapReduce运行流程研究[J]. 冯祥,张媛媛. 福建电脑. 2018(12)
[10]一个基于Web的轻量级大数据处理与可视化工具[J]. 李炎,马俊明,安博,曹东刚. 计算机科学. 2018(09)
硕士论文
[1]基于Echarts的健身车监测数据可视化系统设计与实现[D]. 文浩.武汉体育学院 2018
[2]基于Hadoop的电信大数据处理的研究及应用[D]. 张思航.华北电力大学(北京) 2017
[3]基于Spark的SQL连接优化研究与应用[D]. 邵帅.北京交通大学 2017
[4]Spark Shuffle的内存调度算法分析及优化[D]. 陈英芝.浙江大学 2016
[5]基于hadoop的网站用户行为分析系统设计与实现[D]. 王电轻.中国科学院大学(工程管理与信息技术学院) 2016
[6]基于代价模型的Spark SQL查询优化研究[D]. 刘春雷.电子科技大学 2016
[7]基于Spark的数据管理平台的设计与实现[D]. 刘鹏.浙江大学 2016
[8]基于Spark的数据处理分析系统的设计与实现[D]. 李爽.北京交通大学 2015
[9]基于Spark的机器学习应用框架研究与实现[D]. 孙科.上海交通大学 2015
[10]基于Spark的网络日志分析系统的设计与实现[D]. 刘季函(Liu,Chi Han).南京大学 2014
本文编号：3164003
本文链接：https://www.wllwen.com/jingjilunwen/guojimaoyilunwen/3164003.html
