基于Java Web的数据分析系统的设计与实现

发布时间：2023-01-26 03:49

　　近年来,电子商务、社交网络、移动智能技术在不断进步,社会进入数据时代。电脑端、手机端的数据资源已经成为企业的核心资源和核心竞争力,因此,充分利用这些数据资源对用户行为进行统计分析,通过直观的数字或趋势图表吸收数据信息,来提高服务价值、协助管理层人员决策,成为重中之重。然而,现有的数据分析系统存在数据集成复杂、不易于阅读和编码、数据传输效率低等缺点。针对这些不足,本文设计并实现了基于Java Web的数据分析系统。本文对背景与意义、前人研究现状进行分析,论述系统开发过程中所需的关键理论和技术,设计并编码完成了一个数据分析系统,以及对数据进行采集、分析以及可视化。根据软件开发生命周期的过程,结合Java Web框架、定时任务框架Quartz、消息队列Kafka、Zookeeper等Web开发技术,从系统的可行性分析、模块的需求分析到各个功能模块业务逻辑的设计,再到具体编码实现,完成了数据采集、数据分析以及数据可视化三大模块的设计与实现,并对于功能、性能、安全这三方面进行黑盒测试。同时为实现信息的统一收集、提取和整理,本文详细设计并编码实现了基于数据字典的统一消息体,解决数据集成复杂问题。并... 

【文章页数】：89 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 引言
    1.1 研究背景和意义
    1.2 前人研究现状
    1.3 课题主要研究内容
    1.4 论文组织结构
    1.5 本章小结
第二章 关键技术
    2.1 Java相关技术介绍
        2.1.1 JSP技术
        2.1.2 Quartz框架技术
        2.1.3 ZooKeeper技术
    2.2 消息队列检索算法
        2.2.1 消息队列概述
        2.2.2 消息文件存储机制
        2.2.3 消息检索算法
    2.3 SSM框架
        2.3.1 Spring框架
        2.3.2 Struts2框架
        2.3.3 MyBatis框架
    2.4 Echarts技术
    2.5 数据字典技术
    2.6 数据库技术
        2.6.1 Redis技术
        2.6.2 MySQL技术
    2.7 本章小节
第三章 数据分析系统的分析与设计
    3.1 可行性分析
        3.1.1 技术可行性
        3.1.2 经济可行性
        3.1.3 操作可行性
    3.2 需求分析
        3.2.1 功能需求
        3.2.2 性能需求
        3.2.3 架构需求
    3.3 系统概述与总体架构
        3.3.1 系统概述
        3.3.2 系统总体架构
    3.4 改进消息队列检索算法设计
    3.5 统一消息体设计
        3.5.1 数据字典设计
        3.5.2 统一消息体设计
    3.6 功能模块设计
        3.6.1 数据采集模块
        3.6.2 数据分析模块
        3.6.3 数据可视化模块
    3.7 数据库分析与设计
        3.7.1 数据库需求分析
        3.7.2 数据库概念设计
        3.7.3 数据库逻辑设计
    3.8 本章小结
第四章 数据分析系统的实现
    4.1 统一消息体实现
        4.1.1 数据字典实现
        4.1.2 统一消息体实现
    4.2 数据采集模块实现
    4.3 数据分析模块实现
    4.4 数据可视化模块实现
    4.5 改进消息队列检索算法实现
        4.5.1 改进检索算法实现
        4.5.2 改进算法性能分析
        4.5.3 改进算法性能验证
    4.6 本章小结
第五章 数据分析系统的测试与难点分析
    5.1 系统测试
        5.1.1 功能测试
        5.1.2 性能测试
        5.1.3 安全性测试
    5.2 难点与问题
        5.2.1 所遇到的难点
        5.2.2 解决方案
    5.3 本章小结
第六章 总结与展望
    6.1 论文工作总结
    6.2 工作展望
参考文献
致谢
攻读学位期间发表的学术论文


【参考文献】：
期刊论文
[1]一种优化的Kafka消费者/客户端负载均衡算法[J]. 王郑合,王锋,邓辉,柳翠寅,张晓丽.  计算机应用研究. 2017(08)
[2]基于ECharts的数据可视化分析组件设计实现[J]. 王子毅,张春海.  微型机与应用. 2016(14)
[3]基于zookeeper和强一致性复制实现MySQL分布式数据库集群[J]. 张旭刚,李东辉,俞俊,朱广新,郑磊.  微型电脑应用. 2016(01)
[4]一种分布式消息队列的可靠性研究[J]. 杨冬晖.  电脑知识与技术. 2015(21)
[5]基于B/S的物流管理系统设计与实现[J]. 侯秋琚.  电子测试. 2014(11)
[6]基于Quartz的集团化调度任务分布部署研究[J]. 张鹏,白朝旭,王锟,郭滨,梅峰,刘红娥.  现代电子技术. 2014(02)
[7]MapReduce分布编程模型[J]. 陈明.  计算机教育. 2014(01)
[8]用户时代“信息服务为王”[J]. 郭全中.  新闻实践. 2013(11)
[9]MySQL数据库存储引擎探析[J]. 胡雯,李燕.  软件导刊. 2012(12)
[10]Memcached和Redis在高速缓存方面的应用[J]. 王心妍.  无线互联科技. 2012(09)

硕士论文
[1]基于Java Web的全国土地确权信息采集系统设计与实现[D]. 魏晨朝.北京邮电大学 2017
[2]基于Redis的高并发抢红包应用的设计与实现[D]. 徐竟州.湖南大学 2016
[3]基于Java Web的网上培训报名系统的设计与实现[D]. 陈巧婷.吉林大学 2015
[4]基于Java Web的学生成绩信息管理系统[D]. 杨宝林.吉林大学 2015
[5]基于JAVA WEB的虚拟数字图书电子商务平台设计与实现[D]. 霍剑峰.吉林大学 2015
[6]基于RabbitMQ的电子商务系统设计与实现[D]. 陈璞.天津大学 2015
[7]基于Java Web的材料采购业务管理系统的设计与实现[D]. 张韬.电子科技大学 2012
[8]基于JAVA WEB技术旅游服务网站系统设计与实现[D]. 张岚.电子科技大学 2012
[9]基于AJAX的数据分析系统的设计与实现[D]. 石良玉.大连交通大学 2011



本文编号：3732135