基于HADOOP架构的社保项目网络日志分析系统的研究

发布时间：2017-08-19 02:00

  本文关键词：基于HADOOP架构的社保项目网络日志分析系统的研究

  更多相关文章： Hadoop 社保行业网络系统 syslog

【摘要】：社会保险业务作为全国一项基本惠民国策,正在有序而实效的展开。随着业务系统的不断增加,系统需要管理的设备也不断增加,硬件系统故障也越来越多。查看网络日志作为一个基本手段,是查看、解决系统故障的重要措施,也是监控系统运行状态的重要方法。但目前日志信息数据量大,难以理解,对系统管理员来说手工查看记录日志来说,不仅数据量太大的问题难以解决,更会直接导致对系统日志中的有用信息难以发现。 本文使用Hadoop分布式计算框架来解决这个问题,利用使用系统自带的syslog日志进行收集、整理工作。细致对Hadoop分布式框架进行分析,对原有系统syslog文件传输进行分析,在此基础上对原有分布在在各地需要的主机快速有效的收集日志,设计并实现一套基于Hadoop的社保网络日志分析系统,实现原有syslog日志文件整理、分析。 本文综合考虑到目前社保网络中的日志特点,使用Hadoop的HDFS分布式文件系统进行搭建环境,为原系统提供有效、实用、快速的分析结果,使用户对整体网络系统做到心中有数,使整体系统满足社保行业发展需要,同时也验证基于hadoop框架结构的网络日志分析系统是有效而实用的。
【关键词】：Hadoop 社保行业网络系统 syslog
【学位授予单位】：电子科技大学
【学位级别】：硕士
【学位授予年份】：2011
【分类号】：TP311.52
【目录】：

• 摘要4-5
• ABSTRACT5-8
• 第一章 绪论8-12
• 1.1 研究背景及意义8-10
• 1.2 研究现状和发展10
• 1.3 研究内容和组织10-12
• 第二章 hadoop 架构基本原理及相关技术12-15
• 2.1 Hadoop 架构概述12
• 2.2 hadoop 架构设计原则12
• 2.3 hadoop 架构实现技术12-15
• 2.3.1 Mapreduce12-13
• 2.3.2 HDFS13-14
• 2.3.3 Syslog 文件14-15
• 第三章 网络日志管理系统简介15-21
• 3.1 日志管理系统发展15-16
• 3.2 系统整体解决方案16-20
• 3.2.1 整体框架简介16-17
• 3.2.2 J2EE 架构设计17-18
• 3.2.3 MVC 模式18-20
• 3.3 本章小结20-21
• 第四章 网络日志管理系统需求分析21-28
• 4.1 社保系统网络需求分析21-22
• 4.2 网络日志系统功能分析22
• 4.3 系统流程分析22-24
• 4.3.1 数据流模块描述23
• 4.3.2 数据流程图展现23-24
• 4.4 系统用例图24-26
• 4.4.1 系统整体用例图24-25
• 4.4.2 系统管理员专用用例图25-26
• 4.5 本章小结26-28
• 第五章 基于hadoop 系统框架设计28-32
• 5.1 Hadoop 系统框架硬件搭建设计28
• 5.2 Hadoop 框架下的系统模型设计28-30
• 5.2.1 HDFS 架构系统实现29-30
• 5.2.2 文件系统运行设计30
• 5.3 开发环境及工具30-31
• 5.4 本章小结31-32
• 第六章 网络日志管理系统设计32-39
• 6.1 系统活动图32-33
• 6.2 系统时序图33-34
• 6.3 系统分层设计34-35
• 6.4 系统功能描述35-37
• 6.5 性能要求37
• 6.6 数据处理37-38
• 6.7 其他要求38
• 6.8 本章小结38-39
• 第七章 网络日志管理系统实现39-56
• 7.1 系统日志收集39-41
• 7.2 系统日志写入41-43
• 7.3 日志分析功能实现43
• 7.4 日志分析系统规划43-49
• 7.4.1 tail 命令实现44-46
• 7.4.2 find 命令实现46-49
• 7.5 系统运行环境49-55
• 7.5.1 软件环境49-50
• 7.5.2 硬件环境50-51
• 7.5.3 测试部署51-55
• 7.6 本章小结55-56
• 第八章 结论56-57
• 致谢57-58
• 参考文献58-60

【参考文献】

中国期刊全文数据库 前10条

1 李呈栋;戴跃发;王伟;吴波;;Hadoop框架下的容灾系统研究[J];电脑知识与技术;2009年28期

2 李朝铭;基于海量实时数据库的HLR容灾解决方案[J];电信科学;2003年02期

3 曾理;王以群;;Hadoop集群和单机数据处理的耗时对比实验[J];硅谷;2009年19期

4 孙牧;;云端的小飞象—Hadoop[J];程序员;2008年10期

5 郭欣;;使用Map/Reduce进行并行计算[J];程序员;2009年10期

6 王峰;;Hadoop集群作业的调度算法[J];程序员;2009年12期

7 张建勋;古志民;郑超;;云计算研究进展综述[J];计算机应用研究;2010年02期

8 王润华;;基于Hadoop集群的分布式日志分析系统研究[J];科技信息;2009年15期

9 季根生;;计算机系统日志自动分析的实现[J];铁路计算机应用;2007年03期

10 多雪松;张晶;高强;;基于Hadoop的海量数据管理系统[J];微计算机信息;2010年13期

，

本文编号：697989