某中型企业数据中心日志分析系统的设计与实现

发布时间：2021-02-22 17:53

　　随着企业规模的不断壮大以及计算机技术的发展,不少企业建立了自己的数据中心来运行各种业务系统。这些业务系统和服务器、网络设备、存储等设备日常产生的日志是一个非常大的数字。如何快速有效的分析处理这些海量日志成为企业和院校的重要研究课题。国内外不少企业都研究出了适合自己企业的大数据日志分析系统并得到了很好的应用,开源日志分析系统比如Facebook的Scribe、Apache的Chukwa等,商业日志分析系统如Splunk公司的Splunk等。目前市场上的日志系统大都存在一些问题,如功能不全不适合公司的实际环境、对开发人员的技术水平要求高、不容易使用等。为了解决这些问题,本文设计和实现了一个基于Hadoop的日志大数据分析系统,该系统运行在分布式存储和计算框架上,具备了高效分析海量日志的能力,同时具有功能强大、配置简便、容易使用等特点。本文研究工作的关键点包括:1、设计并实现日志聚类分析算法,大大提高了日志处理效率。在系统记录的日志信息中,有价值的日志信息约占所有日志的20%不到。通过Logcluster日志聚类分析算法可以排除日志信息中的一般信息,减少不必要的计算。2、实现故障预测,较为准... 

【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校

【文章页数】：73 页

【学位级别】：硕士

【部分图文】：

图2-1日志系统功能用例图

第三章日志分析系统的设计133.2.3交换机和防火墙日志的收集交换机的日志收集比较简单，直接设置好日志接收服务器就可以了。需要配置的地方如下：info-centerloghost192.168.0.69//日志服务器地址info-centerenable//启动日志发送info-centerloghostsourceVlanif205//指定日志发送源接口为逻辑口info-centersourcedefaultchannel2logleveldebugging//发送所有级别的日志同样防火墙配置好日志服务器地址和收集的日志类型。如图3-2所示：图3-2防火墙收集日志配置图3.2.4日志接收服务器的配置日志接收服务器同样采用Rsyslog。1）开启UDP端口和运行服务器，修改配置文件rsyslog.conf，加入如下代码：

第四章日志分析系统的实现372）对业务指标和机器指标进行关联异常检测，可以确定系统发生明显异常的时间点。然后根据数量产生异常的日志类型，可以对异常行为进行初步分析判断。在本场景中，两个时间点9点多和14点多都发现了应用响应时间以及CPU使用率发生异常，在这个时间点，可以发现对应的日志模板也发生异常，如图4-2所示：图4-2CPU使用率异常3）异常时段特征变量分布对比。单从日志的数量上，不能准确发现异常，以及解释异常发生的真实原因。对比正常时段与异常时段的特征变量分布情况，可以帮助我们定位到故障及发生的原因。系统将日常训练时产生的日志各类变量分布和异常时间段产生的同类型日志变量分布自动做出对比。4）结合日志摘要，最终确认问题。通过上面智能分析给出的结果可以发现4号、6号和7号变量存在明显异常，结合日志摘要，就可以确定异常日志为“[应用程序]：云桌面组件，来源[perflib]，返回值[700]，返回信息[组件同步错误]”经云桌面系统管理员查询错误代码库，“返回值[700]，返回信息[组件同步错误]”问题为同步所使用的通信端口不可用，原因为网络管理员调整了防火墙，关闭了同步使用端口。重新允许该端口访问后问题解决。至此一个快速定位问题的流程结束。

【参考文献】：
期刊论文
[1]云存储系统的分析与应用研究[J]. 唐箭.  电脑知识与技术. 2009(20)
[2]让服务成为客户选择的理由 西门子医疗业内首家实现“前瞻式服务理念”[J]. 闻宜.  中国医疗器械信息. 2008(12)

博士论文
[1]基于日志的数据中心内性能事件管理[D]. 张圣林.清华大学 2017
[2]数据挖掘中的聚类方法及其应用[D]. 殷瑞飞.厦门大学 2008

硕士论文
[1]信息管理系统日志分析系统的设计与实现[D]. 万欣陇.山东大学 2017
[2]云计算环境下实时日志分析系统的设计与实现[D]. 张之宣.浙江大学 2016
[3]HADOOP作业启动性能优化实践[D]. 王谦.北京交通大学 2012
[4]基于Hadoop的日志分析系统的设计与实现[D]. 宋爱青.中国地质大学(北京) 2012



本文编号：3046351