基于Django的日志分析系统的设计与实现

发布时间：2017-08-21 06:45

  本文关键词：基于Django的日志分析系统的设计与实现

  更多相关文章： 日志分析系统 Django框架 Logstash 分布式存储

【摘要】：在信息化飞速的发展今天,电子商务因为其方便、快捷受到越来越多人的喜爱。eBay (www.ebay.com)就是其中之一的购物网站。由于eBay在全球有着大量的用户,用户的每一次访问,每一次操作都会有日志进行记录,因此网站后台系统每天会产生大量的日志,约1GB/天。这些日志对公司来说是非常珍贵的数据,从中可以提取出丰富的有用信息。然而对日志包含的信息进行提取、筛选、统计是一个十分复杂的过程,这通常需要大量的存储空间和运行开销。而如何将分析出的结果展现给用户也是一个复杂的问题。因此为了对日志进行快速分析并获得数据,并将统计结果友好地展现给用户,我们开发了一个供公司内部使用的日志分析系统一—Logstash。Logstash日志分析系统基于B/S模式,用户通过浏览器获得想要的数据,方便快捷。同时使用了基于MVC模式的Django框架,使系统的职能分工明确,降低了模块间的耦合度。在存储部分,该项目采用了分布式存储,很好地解决了数据量大的问题,提供了高性能、高可靠、可扩展的后台存储功能。在搜索部分,该项目使用了Elasticsaerch开源分布式搜索引擎,从而实现了搜索的实时性、稳定、可靠和易于使用。在前端展现部分,采用了开源的Bootstrap前端框架,使页面布局合理清晰,同时使用了Ajax、jQuery等先进的前端技术进行图表的展现,实现了很好的人机交互。公司的日志分为很多种类,涵盖的不同的领域,每种类型的日志都有其独特的格式。因此,Logstash日志分析系统提供了可扩展的通用接口,方便用户对日志的种类和日志查询的条目进行添加和修改。并且将数据进行一定的统计,通过友好的图表界面展现给公司内部用户,方便用户进行数据分析和故障查询。
【关键词】：日志分析系统 Django框架 Logstash 分布式存储
【学位授予单位】：南京大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP311.52
【目录】：

• 摘要5-6
• Abstract6-11
• 第一章 引言11-15
• 1.1 项目背景11-12
• 1.2 国内外日志分析系统的发展概况12-13
• 1.3 本文主要研究的工作13-14
• 1.4 本文的组织结构14-15
• 第二章 技术综述15-25
• 2.1 MVC模式15
• 2.2 Django框架15-17
• 2.3 Python语言17-18
• 2.4 分布式存储技术818-20
• 2.5 Redis数据库20
• 2.6 Elasticsearch技术20-21
• 2.7 Ajax技术21-22
• 2.8 jQuery技术22-23
• 2.9 Bootstrap技术23-24
• 2.10 本章小结24-25
• 第三章 Logstash日志分析系统的分析与设计25-44
• 3.1 项目总体规划25-27
• 3.1.1 系统组成25-26
• 3.1.2 系统主流程26-27
• 3.2 系统需求分析27-32
• 3.2.1 前端DNS模块功能需求分析27-29
• 3.2.2 前端Mail模块功能需求分析29-30
• 3.2.3 前端General模块功能需求分析30-31
• 3.2.4 日志查询模块功能需求分析31
• 3.2.5 Logsash系统非功能需求分析31-32
• 3.3 系统总体设计32-34
• 3.4 日志查询模块设计34-39
• 3.4.1 Elasticsearch查询接口封装设计35-37
• 3.4.2 Elasticsearch查询调用方法设计37-39
• 3.5 前端展现模块设计39-43
• 3.5.1 DNS模块设计39-41
• 3.5.2 Mail模块设计41-42
• 3.5.3 General模块设计42-43
• 3.6 本章小结43-44
• 第四章 Logstash日志分析系统的实现44-59
• 4.1 日志查询模块的实现44-48
• 4.1.1 Elasticsearch查询接口封装的实现44-46
• 4.1.2 Elasticsearch查询调用方法实现46-48
• 4.2 前端展现模块的实现48-58
• 4.2.1 DNS模块前端实现48-52
• 4.2.2 Mail模块前端实现52-56
• 4.2.3 General模块前端实现56-58
• 4.3 本章小结58-59
• 第五章 总结与展望59-61
• 5.1 总结59
• 5.2 进一步工作展望59-61
• 参考文献61-63
• 致谢63-65

【参考文献】

中国期刊全文数据库 前1条

1 柯昌正;黄厚宽;;Ajax技术的原理与应用[J];铁路计算机应用;2007年01期

，

本文编号：711435