云计算环境下实时日志分析系统的设计与实现

发布时间：2017-04-27 00:14

  本文关键词：云计算环境下实时日志分析系统的设计与实现，，由笔耕文化传播整理发布。

【摘要】：现有的云计算平台中,由于系统组织庞大、架构复杂,各个节点和组件所产生的日志数据量巨大且分散在不同节点中,存在着日志数据的格式多样、数据交换困难、数据的存储和检索困难、日志数据的读取效率低等问题,导致大量的日志数据信息无法被充分地挖掘利用。本文正是针对上述问题,围绕云计算环境下的实时日志分析展开了研究。本文的主要贡献有：(1)针对云平台复杂的物理架构和逻辑架构,基于分布式系统,结合实时流数据收集、海量数据的存储和索引、实时数据分析计算等功能模块,设计了一套完整的、可扩展的云计算环境下的实时日志分析系统。该系统能够帮助系统运维人员高效地检索整个系统中的日志记录,有效地管理各种日志数据,并通过日志数据快速了解当前系统的运行状态和服务状态。(2)该系统能够从海量且多样的日志数据中,实时地挖掘出数据所蕴含的信息,一方面对系统的实时运行状态进行分析,另一方面,通过使用机器学习的算法和模型,实现了对于系统未来可能发生的故障的预测。(3)系统提供了友好的展示界面对数据进行了可视化处理,生动地将系统中的数据及其所蕴含的信息展示出来,提高了数据分析工作的效率。
【关键词】：云计算 日志系统 实时计算 故障预测 数据可视化
【学位授予单位】：浙江大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.52
【目录】：

• 摘要5-6
• Abstract6-13
• 第1章 绪论13-17
• 1.1 课题背景13-14
• 1.2 课题目标14-15
• 1.3 本文贡献和创新点15
• 1.4 本文组织结构15-16
• 1.5 本章小结16-17
• 第2章 研究现状和相关技术17-27
• 2.1 国内外相关领域研究现状17-21
• 2.1.1 Heka17-18
• 2.1.2 Flume18-20
• 2.1.3 Scribe20-21
• 2.2 相关工作和技术21-26
• 2.2.1 消息队列21-24
• 2.2.2 时间序列数据库24-25
• 2.2.3 隐半马尔可夫模型25-26
• 2.3 本章小结26-27
• 第3章 云环境下实时日志分析系统的总体设计27-33
• 3.1 系统总体需求27-28
• 3.2 系统整体架构设计28-29
• 3.3 系统中的数据流29-30
• 3.4 日志数据聚合平台30-31
• 3.5 实时日志分析平台31-32
• 3.6 本章小结32-33
• 第4章 系统设计与实现33-51
• 4.1 分布式日志数据聚合平台设计与实现33-45
• 4.1.1 平台需求分析33-34
• 4.1.2 平台总体架构设计34-36
• 4.1.3 日志数据收集36-38
• 4.1.4 日志数据解析过滤38-41
• 4.1.5 数据存储和搜索41-45
• 4.2 分布式实时日志分析平台设计和实现45-50
• 4.2.1 平台需求分析45
• 4.2.2 平台总体架构设计45-47
• 4.2.3 日志分析计算和故障预测47-48
• 4.2.4 时间序列数据的存储48-49
• 4.2.5 数据可视化49-50
• 4.3 本章小结50-51
• 第5章 实时日志分析计算51-67
• 5.1 系统状态统计分析51-60
• 5.1.1 虚拟机创建流程分析51-58
• 5.1.2 云硬盘服务状态分析58-60
• 5.2 系统故障预测分析60-66
• 5.2.1 提取日志事件序列61-62
• 5.2.2 故障相关事件序列的聚类62-63
• 5.2.3 噪声过滤63-64
• 5.2.4 故障预测64-66
• 5.3 本章小结66-67
• 第6章 实验结果与分析67-79
• 6.1 实验环境67-68
• 6.2 系统性能测试68-71
• 6.2.1 日志数据收集器性能测试68-69
• 6.2.2 存储搜索模块性能测试69-71
• 6.3 实时日志分析实验分析71-75
• 6.3.1 云硬盘服务状态分析实验71-74
• 6.3.2 系统实时性测试74-75
• 6.4 系统故障预测实验分析75-78
• 6.5 本章小结78-79
• 第7章 总结和展望79-81
• 7.1 本文总结79
• 7.2 下一步工作和未来展望79-81
• 参考文献81-84
• 致谢84

【相似文献】

中国期刊全文数据库 前10条

1 张晓刚;潘久辉;;MS SQL Server 2000日志分析方法的研究与实现[J];计算机工程与设计;2006年19期

2 李春林;周根鸿;张文体;;重视日志审计确保数据安全[J];医学信息;2007年10期

3 梁晓雪;王锋;;基于聚类的日志分析技术综述与展望[J];云南大学学报(自然科学版);2009年S1期

4 黄海隆;陈赛娉;;计算机日志分析与管理方法的研究[J];大众科技;2006年07期

5 郑毅;;基于日志分析的网络IDS研究[J];襄樊学院学报;2008年11期

6 陈庭平;沈丽娟;曾鹏;;日志服务器建设和应用[J];网络安全技术与应用;2010年09期

7 邹先霞;贾维嘉;潘久辉;;基于数据库日志的变化数据捕获研究[J];小型微型计算机系统;2012年03期

8 罗新;;防火墙日志分析系统的设计与实现[J];计算机时代;2012年02期

9 姜良华;崔建明;;Serv-U FTP服务器日志分析系统设计与实现[J];电脑知识与技术;2010年28期

10 李玉荣;杨树强;贾焰;周斌;樊宇;;分布式日志服务关键技术研究[J];计算机工程与应用;2006年07期

中国重要会议论文全文数据库 前10条

1 马辰;武斌;;一种基于攻击事件图的蜜网日志分析方法[A];虚拟运营与云计算——第十八届全国青年通信学术年会论文集（下册）[C];2013年

2 周涛;;基于数据挖掘的入侵检测日志分析技术研究[A];第二届中国科学院博士后学术年会暨高新技术前沿与发展学术会议程序册[C];2010年

3 陈晨;郑康锋;;一种基于支持向量机的蜜网系统日志分析方法[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年

4 刘莉;;基于多协议技术的日志集中管理安全方案[A];2008年中国通信学会无线及移动通信委员会学术年会论文集[C];2008年

5 耿涛;;Web日志分析在电子数据取证中的应用[A];第二十一次全国计算机安全学术交流会论文集[C];2006年

6 闫龙川;王怀宇;李枫;毛一凡;;基于Hadoop的邮件日志分析与研究[A];2012电力行业信息化年会论文集[C];2012年

7 陈庆章;王磊;毛科技;戴国勇;;基于防火墙日志的在线攻击侦查系统的设计与实现(英文)[A];全国第19届计算机技术与应用（CACIS）学术会议论文集（下册）[C];2008年

8 王振亚;武斌;;基于MFI-WT算法的蜜网日志分析方法[A];第十七届全国青年通信学术年会论文集[C];2012年

9 金松昌;方滨兴;杨树强;贾焰;;基于Hadoop的网络安全日志分析系统的设计与实现[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年

10 朱金清;王建新;陈志泊;;基于APRIORI的层次化聚类算法及其在IDS日志分析中的应用[A];第二十四届中国数据库学术会议论文集（研究报告篇）[C];2007年

中国重要报纸全文数据库 前10条

1 中航工业南方航空工业集团(有限)公司科技与信息部 邹沪湘;分析日志识别暴力破解[N];计算机世界;2013年

2 ;日志分析中的五个误区[N];网络世界;2004年

3 陈代寿;网管的四两拨千斤[N];中国计算机报;2004年

4 IBM大数据专家 James Kobielus　范范 编译;大数据日志分析借机器学习腾飞[N];网络世界;2014年

5 《网络世界》评测实验室 于洋;用好Web日志[N];网络世界;2004年

6 重庆 航行者;IIS的安全[N];电脑报;2002年

7 河南工业职业技术学院 邱建新;监测Squid日志的五种方法[N];计算机世界;2005年

8 shotgun;入侵检测初步（上）[N];电脑报;2001年

9 朱闵;浅谈企业核心应用的安全审计(下)[N];网络世界;2008年

10 覃进文;在Windows 2000&&2003下快速安装Webalizer[N];中国电脑教育报;2003年

中国博士学位论文全文数据库 前3条

1 饶翔;基于日志的大规模分布式软件系统可信保障技术研究[D];国防科学技术大学;2011年

2 曹志波;基于日志的任务建模及调度优化的研究[D];华南理工大学;2014年

3 胡蓉;WEB日志和子空间聚类挖掘算法研究[D];华中科技大学;2008年

中国硕士学位论文全文数据库 前10条

1 张天生;日志采集与分析在Web网站中的设计与实现[D];上海交通大学;2015年

2 周海靖;日志大数据分析平台技术研究[D];山东大学;2015年

3 赖特;网络安全设备日志融合技术研究[D];电子科技大学;2015年

4 董妍妍;基于Hadoop的Teradata数据仓库日志分析系统的设计与实现[D];南京大学;2014年

5 李名弈;IPTVQOS日志分析方法研究[D];复旦大学;2013年

6 刘季函(Liu,Chi Han);基于Spark的网络日志分析系统的设计与实现[D];南京大学;2014年

7 李荣荣;基于Hadoop平台的日志分析系统[D];复旦大学;2013年

8 周云斌;基于主机的日志大数椐分析及安全性检查[D];大连理工大学;2015年

9 张迪;基于NoSQL的大规模Web日志分析系统的设计与实现[D];复旦大学;2013年

10 潘宇轩;基于Django的日志分析系统的设计与实现[D];南京大学;2014年

  本文关键词：云计算环境下实时日志分析系统的设计与实现，由笔耕文化传播整理发布。

本文编号：329541