基于Spark计算的实时数据分析的应用研究

发布时间：2024-01-21 11:27

　　随着网络的快速发展,各式各样的数据呈现出爆炸式增长,海量数据的不断累积对数据的存储与计算提出了更多的要求,各类分布式计算框架和分布式存储模式接连涌现。其中分布式文件存储系统HDFS凭借其较好的实用特性得到了广泛应用;与此同时,Spark计算框架也因为其基于内存计算的高可用性受到了学术界与社会的广泛关注。合理地利用这两种计算框架处理日志数据,并且将日志分析产生的结果利用可视化工具进行展示,是现如今社会亟待解决的问题,为了实现这一目标,就需要制定出对应业务场景中的数据分析解决方案。本文设计和开发基于Hadoop平台的网站日志数据分析系统,其中Hadoop生态系统中的各个组件提供了日志数据的离线分析计算的能力;应用系统釆用Spark Streaming计算框架设计了日志实时计算的应用,采用MapReduce计算框架设计了离线计算应用,前端展示使用当前主流javaEE平台进行设计开发,各种后端开发框架,如SpringMVC等提供了更好的可维护性与可扩展性;同时提供了基于HTML5页面开发的WEB应用功能,使用户可以得到对于分析结果的多维度统计信息;在数据展示方面,采用Echart、Highch...

【文章页数】：92 页

【学位级别】：硕士

本文编号：3881897