面向日志大数据分析的业务服务系统的设计与实现

发布时间：2020-12-20 19:17

　　在大数据时代,各项业务服务为保证健康状况或挖掘深层价值,普遍存在基于相关日志进行分析的场景需求。面对源源不断产生且呈指数增长的海量日志数据,传统的数据处理和分析技术在计算和查询业务上往往无法满足特定性能要求。分布式并行化的大数据技术可充分发挥多机多核的硬件资源,在日志业务分析领域逐渐受到了学术界和工业界的青睐。首先,日志数据通常具有时序性和流式特点,且具有确定的属性意义,其次,在业务流程构建中,业务处理的阶段性和关联性在底层可体现任务流及数据流的对应关系,此外,大数据工程的敏捷开发和生产部署,一直是组织或企业最关心的问题和难题之一。为了对海量日志数据进行高效处理和管理,并快速构建具体业务应用,出于性能和和通用性的考虑,本文基于分布式计算框架Spark设计并实现了面向日志大数据分析的业务服务系统,并着重从如下工作进行研究和设计:(1)根据日志产生、接入和处理特点,对系统架构进行分层构建,并设计了低耦合和支持分布式服务的DSService、SparkServer和MonitorServer三大功能模块。系统通过架构各层、各功能模块及服务间通信和调用方式的设计,支持任务流或工作流管理和调度,... 

【文章来源】：华南理工大学广东省 211工程院校 985工程院校 教育部直属院校

【文章页数】：113 页

【学位级别】：硕士

【部分图文】：

大数据代表SQL引擎得分趋势

第二章 大数据系统架构及关键技术数据处理架构模型数据通常表现为无界流式的特点，实时性要求较高的业务通常采用流实时要求较低的场景，则采用传统的批处理方式。流式日志处理往往测性、鲁棒性和可扩展性支持。bda 架构[59]将计算部分分为加速层和批处理层，用于构建基于 MapRe（如 Storm）的应用，并服务于流式数据接入和查询，是经典的流式图 2-2 所示。

服务注册与消费

【参考文献】：
期刊论文
[1]An Online Visualization System for Streaming Log Data of Computing Clusters[J]. Jing Xia,Feiran Wu,Fangzhou Guo,Cong Xie,Zhen Liu,Wei Chen.  Tsinghua Science and Technology. 2013(02)

博士论文
[1]大数据处理技术与系统研究[D]. 顾荣.南京大学 2016



本文编号：2928408