基于Storm的实时日志分析系统的设计与实现

发布时间：2017-04-07 19:21

  本文关键词：基于Storm的实时日志分析系统的设计与实现，，由笔耕文化传播整理发布。

【摘要】：海量实时计算作为大数据计算的重要组成部分,实时日志数据分析正在逐渐成为各个公司或互联网产品依赖的重要需求。实时海量日志数据计算正应用在实时分析统计,实时推荐,实时风控,实时监控和个性化推荐服务等应用场景中。根据用户对海量日志数据的实时性处理需求,本文设计并实现了一个基于Storm的实时日志分析系统。本文的工作主要包括：1)详细介绍本系统的研究背景、所涉及到的技术。同时详细说明了系统的设计和功能需求,系统整体架构以及相关模块架构,重点包括了系统前后端的详细实现。2)分布式收集模块采用Flume技术实现多源异构的日志数据收集、分发和存储功能,该技术具有分布式、可扩展、容错、高性能的优点。3)异步通信模块采用Kafka技术实现收集模块和处理模块之间的解耦作用,该技术最大的优点是高性能,吞吐量大。4)实时数据分析模块采用的是Storm技术,Storm以数据流的形式流式处理,能够高性能实时处理源源不断地数据。本系统解决了分布式收集异源日志数据,实时计算,数据处理复杂和分析结果展示等问题,实现了海量异源日志数据的收集功能、数据异步通信功能、实时处理日志数据功能和实时查询结果数据功能,提供一套稳定的、易扩展的,分布式的,高性能海量日志数据实时分析系统。
【关键词】：Storm 海量日志数据 实时分析 Kafka
【学位授予单位】：南京大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.52
【目录】：

• 摘要5-6
• Abstract6-13
• 第一章 绪论13-18
• 1.1 项目背景与意义13-14
• 1.2 国内外研究现状14-16
• 1.3 本文主要研究的工作16-17
• 1.4 本文的组织结构17-18
• 第二章 相关技术综述18-32
• 2.1 大数据处理概述18-21
• 2.1.1 批处理技术概述18-19
• 2.1.2 实时处理技术概述19-21
• 2.2 Storm实时处理技术21-26
• 2.2.1 Storm计算框架介绍21-24
• 2.2.2 Storm技术处理模型24-26
• 2.3 Kafka技术介绍26-28
• 2.4 SpringMVC框架介绍28-29
• 2.5 Zookeeper分布式管理介绍29-31
• 2.6 本章小结31-32
• 第三章 实时日志分析系统总体设计32-45
• 3.1 系统功能需求和分析32-34
• 3.2 系统总体设计与模块设计34-40
• 3.2.1 总体结构34-35
• 3.2.2 分布式日志收集模块35-36
• 3.2.3 异步通信模块36-37
• 3.2.4 日志分析计算模块37-38
• 3.2.5 结果数据存储模块38
• 3.2.6 结果展示模块38-39
• 3.2.7 缓存模块39-40
• 3.3 系统数据表设计40-42
• 3.3.1 日志源表设计40
• 3.3.2 异常表设计40-41
• 3.3.3 异常数据表设计41-42
• 3.3.4 Nginx_access表设计42
• 3.4 系统关键流程42-44
• 3.5 本章小结44-45
• 第四章 实时日志分析系统后端模块45-55
• 4.1 Storm计算模块的整体架构45-47
• 4.1.1 问题分析45-46
• 4.1.2 系统后端模块整体架构46-47
• 4.2 系统后端模块数据处理流程47-48
• 4.3 Storm实时计算模块代码实现与设计48-54
• 4.3.1 Topology计算拓扑任务的提交48-49
• 4.3.2 Spout节点实现49-51
• 4.3.3 解析日志的Bolt节点实现51-52
• 4.3.4 过滤日志的Bolt节点实现52-53
• 4.3.5 分析日志的Bolt节点实现53-54
• 4.4 本章小结54-55
• 第五章 实时日志分析系统Web模块55-68
• 5.1 分析结果的展示模块整体架构55-56
• 5.1.1 问题分析55-56
• 5.1.2 系统前端模块整体架构56
• 5.2 系统前端模块用户请求处理流程56-59
• 5.3 系统Web模块代码实现与设计59-63
• 5.3.1 Controller层代码的实现59-60
• 5.3.2 Service层代码的实现60-61
• 5.3.3 DAO层代码的实现61-63
• 5.4 系统使用示例与性能分析63-67
• 5.4.1 系统使用示例63-66
• 5.4.2 系统性能分析66-67
• 5.5 本章小结67-68
• 第六章 总结与展望68-70
• 6.1 论文总结68
• 6.2 进一步工作展望68-70
• 参考文献70-72
• 致谢72-74

【参考文献】

中国期刊全文数据库 前2条

1 白亚鲁;;云计算环境下大规模数据处理的研究[J];软件;2013年05期

2 王润华;;基于Hadoop集群的分布式日志分析系统研究[J];科技信息;2009年15期

中国硕士学位论文全文数据库 前1条

1 曾明宇;一种基于Storm和Mongodb的分布式实时日志数据存储与处理系统的设计与实现及应用[D];浙江大学;2015年

  本文关键词：基于Storm的实时日志分析系统的设计与实现，由笔耕文化传播整理发布。

本文编号：291159