基于Flume的分布式日志采集分析系统设计与实现

发布时间：2019-09-02 12:21

【摘要】：互联网的迅猛发展以及大数据相关技术的兴起,使得日志数据的规模日益剧增,给已有的日志采集及分析系统带来了挑战;同时针对互联网安全的攻击活动也层出不穷,如何在海量的日志中及时提取有效的信息以为企业安全提供信息支撑,也给现有的分析系统提出了新的需求。本文结合使用Flume、Elasticsearch以及Kibana等技术手段提出了一种分布式的日志采集分析系统,从系统设计和架构等方面提出了新的解决思路,并针对Nginx的访问日志进行了实时采集和分析及展示,完成了原型系统的实现,实验证明,基于Flume的分布式的日志采集分析系统方案具有可行性。
【图文】：

陈飞等：基于Flume的分布式日志采集分析系统设计与实现83《软件》杂志欢迎推荐投稿：cosoft@vip.163.com本文基于开源日志收集系统ApacheFlume以及开源搜索引擎ElasticSearch设计并实现一个基于海量数据的分布式日志采集分析原型系统，该系统实现对系统WEB服务日志的采集，分析和展示，具备实时搜索功能。实验证明了系统设计和方案具备可行性。1技术要点1.1FlumeFlume[6]是一个分布式的海量日志聚合系统，支持数据发送方，数据接收方的数据定制，同时具备数据预处理的能力。目前Flume有Flume-OG和Flume-NG两个版本，Flume-NG是在Flume-OG的基础上经重构所形成的更具适应性的版本，使用方便简单，适应各种日志收集，并支持FailOver和负载均衡机制。其主要架构如图1所示：Flume以agent为最小的独立运行单位，每一个agent即是一个小的JVM。Flume主要由不同类型的Source、Channel、Sink组件组成，不同类型组件之间可以自由组合从而构建复杂性的系统。Source组件实现对原始日志的采集接收，Channel组件负责为Source和Sink组件的对接提供临时的缓存通道，Sink组件则负责将收集到的日志下放到存储、分析等系统中，以实现日志的最终交付。Flume具备高可扩展性，支持多级流处理，可根据不同业务需求及功能需求对Flume的agent组件进行不同方式的组合，从而构建出耦合度低、可用性高、扩展性强的强壮的采集系统。如下图2即是复杂的Flume流，，通过Channle、Sink和不同的分析存储系统及Source组合完成复杂的采集分析任务。图1Flume基本架构图2复杂的Flume流

陈飞等：基于Flume的分布式日志采集分析系统设计与实现83《软件》杂志欢迎推荐投稿：cosoft@vip.163.com本文基于开源日志收集系统ApacheFlume以及开源搜索引擎ElasticSearch设计并实现一个基于海量数据的分布式日志采集分析原型系统，该系统实现对系统WEB服务日志的采集，分析和展示，具备实时搜索功能。实验证明了系统设计和方案具备可行性。1技术要点1.1FlumeFlume[6]是一个分布式的海量日志聚合系统，支持数据发送方，数据接收方的数据定制，同时具备数据预处理的能力。目前Flume有Flume-OG和Flume-NG两个版本，Flume-NG是在Flume-OG的基础上经重构所形成的更具适应性的版本，使用方便简单，适应各种日志收集，并支持FailOver和负载均衡机制。其主要架构如图1所示：Flume以agent为最小的独立运行单位，每一个agent即是一个小的JVM。Flume主要由不同类型的Source、Channel、Sink组件组成，不同类型组件之间可以自由组合从而构建复杂性的系统。Source组件实现对原始日志的采集接收，Channel组件负责为Source和Sink组件的对接提供临时的缓存通道，Sink组件则负责将收集到的日志下放到存储、分析等系统中，以实现日志的最终交付。Flume具备高可扩展性，支持多级流处理，可根据不同业务需求及功能需求对Flume的agent组件进行不同方式的组合，从而构建出耦合度低、可用性高、扩展性强的强壮的采集系统。如下图2即是复杂的Flume流，通过Channle、Sink和不同的分析存储系统及Source组合完成复杂的采集分析任务。图1Flume基本架构图2复杂的Flume流
【作者单位】： 华北计算技术研究所;
【分类号】：TP311.52

【参考文献】

相关期刊论文 前5条

1 宋密;王劲松;;基于Flume的网络安全可视化系统[J];天津理工大学学报;2015年02期

2 江三锋;王元亮;;基于Hive的海量web日志分析系统设计研究[J];软件;2015年04期

3 吴茜媛;郑庆华;王萍;;一种可扩展的网络用户行为日志获取方法[J];软件;2014年10期

4 王正也;李书芳;;一种基于Hive日志分析的大数据存储优化方法[J];软件;2014年11期

5 白俊;郭贺彬;;基于ElasticSearch的大日志实时搜索的软件集成方案研究[J];吉林师范大学学报(自然科学版);2014年01期

【共引文献】

相关期刊论文 前10条

1 董长青;任女尔;张庆余;田玉靖;;基于HBase+ ElasticSearch的海量交通数据实时存取方案设计[J];大数据;2017年01期

2 蒋焕亮;;基于hive的日志仓库构建研究[J];计算机时代;2016年11期

3 周平;马斌;韩冰;苏宇晨;;基于大数据平台的日志分析预警技术研究[J];电脑知识与技术;2016年32期

4 周未;张宏;李博涵;;基于攻防状态图模型的网络风险评估方法[J];东南大学学报(自然科学版);2016年04期

5 胡庆宝;姜晓巍;石京燕;程耀东;梁翠萍;;基于Elasticsearch的实时集群日志采集和分析系统实现[J];科研信息化技术与应用;2016年03期

6 周广;闫丹凤;许光可;李笋;;大数据在输变电设备状态评估中的研究[J];软件;2016年01期

7 周彩冬;潘维民;;大数据在商业银行反洗钱的应用[J];软件;2016年02期

8 吴江;孙剑伟;;一种基于云模型的数据预测算法[J];软件;2015年12期

9 王悦;;Hive日志分析的大数据存储优化探讨[J];信息通信;2015年10期

10 马凯航;高永明;吴止锾;李磊;;大数据时代数据管理技术研究综述[J];软件;2015年10期

【二级参考文献】

相关期刊论文 前10条

1 陈若飞;姜文红;;Hadoop作业调度本地性的研究与优化[J];软件;2015年02期

2 王正也;李书芳;;一种基于Hive日志分析的大数据存储优化方法[J];软件;2014年11期

3 田野;苏红旗;田栋;;Hadoop下海量遥感数据的处理[J];软件;2014年03期

4 高东海;李文生;张海涛;;基于Hadoop的离线视频处理技术研究与实现[J];软件;2013年11期

5 穆祥昆;王劲松;薛羽丰;黄玮;;基于活跃熵的网络异常流量检测方法[J];通信学报;2013年S2期

6 袁佳;郭燕慧;;基于rabbitmq的海量日志的分布式处理[J];软件;2013年07期

7 宋明;李志;;SQL Server集成服务在数据采集系统中的应用[J];软件;2013年07期

8 王庆福;;网站建设中数据库技术与WEB技术的应用对比研究[J];软件;2013年02期

9 杨寒冰;赵龙;贾金原;;HBase数据库迁移工具的设计与实现[J];计算机科学与探索;2013年03期

10 杜继华;吴伟明;谷勇浩;;一种基于HADOOP的办公文件存储方法[J];软件;2012年10期

【相似文献】

相关期刊论文 前10条

1 常晓飞;符文星;闫杰;;便携式应变采集分析系统的设计[J];测控技术;2011年05期

2 伍敏君;戴锋;;数据采集分析系统的设计与实现[J];硅谷;2012年06期

3 杨鸿鹏,郭建军,林志航;计算机辅助质量数据采集分析系统[J];计算机辅助工程;1997年01期

4 邵雪飞;;基于VisualC++平台的信号采集分析系统[J];电子科技;2014年05期

5 殷长友,方忠惠,强宏;气候数据采集分析系统的实现(上)[J];计算机应用研究;2001年10期

6 殷长友,方忠慧,强宏;气候数据采集分析系统的实现(下)[J];计算机应用研究;2001年12期

7 岳晓峰,朱胜男,王剑飞;基于Lab Windows/CVI的多路胎儿心率采集分析系统[J];长春工业大学学报(自然科学版);2004年02期

8 陈少斌;;传输干线网管告警采集分析系统的构想和建设[J];科技资讯;2006年34期

9 王习彬;张远生;吕成秀;;数据采集分析系统在制管企业的应用[J];焊管;2007年06期

10 姚运启;张效民;彭勃;;一种基于混沌原理的采集分析系统设计[J];测控技术;2010年01期

相关会议论文 前10条

1 张颖;曹宇峰;杨滨;卢雯玲;段颖;刘铜华;;中医临床病历采集分析系统[A];第十次全国中医糖尿病大会论文集[C];2007年

2 孔慧芳;孟庆军;;汽车自动变速器数据采集分析系统设计[A];全国第19届计算机技术与应用（CACIS）学术会议论文集（上册）[C];2008年

3 周凯利;谢彬;李万昌;;示波器自动控制和数据采集分析系统[A];中国工程物理研究院科技年报（2000）[C];2000年

4 欧阳铭;;固话呼叫详细记录采集分析系统的研究[A];2007中国科协年会——通信与信息发展高层论坛论文集[C];2007年

5 岳洪亮;何茂松;林晓泽;;基于以太网的数据采集分析系统研发与应用[A];全国冶金自动化信息网2014年会论文集[C];2014年

6 熊开宇;何辉;贺莹莹;;网球技术采集分析系统的研发与应用[A];第九届全国体育科学大会论文摘要汇编(2)[C];2011年

7 邓焱;赵夏云;;基于虚拟仪器技术的红外热像采集分析系统[A];第三届全国虚拟仪器大会论文集[C];2008年

8 韩挺挺;陈彦;徐平;;基于LabVIEW的起落架力学参数采集分析系统[A];第九届全国信息获取与处理学术会议论文集Ⅰ[C];2011年

9 孙磊;陈冬岩;刘月美;;足球运动员训练用跑动距离信息采集分析系统设计[A];第九届全国体育科学大会论文摘要汇编(2)[C];2011年

10 张多迪;;高速数据采集分析系统(FDAA)在工程项目中的应用[A];第十一届全国自动化应用技术学术交流会论文集[C];2006年

相关重要报纸文章 前2条

1 记者 刘晓军;全国首个收视数据实时采集分析系统建成[N];科技日报;2014年

2 记者 刘蓟奕 李珩;我市率先在全国建立中医数据采集分析系统[N];重庆日报;2014年

相关硕士学位论文 前10条

1 呼林涛;基于深脑定位机械手的超声诱导脑电信息采集分析系统研究[D];兰州大学;2016年

2 马晓玉;基于STM32和蓝牙4.1的便携式心电采集分析系统研究[D];燕山大学;2016年

3 王涛;中小学生安全信息采集分析系统设计与实现[D];山东师范大学;2016年

4 王敏;生物信号采集分析系统的上层软件设计[D];电子科技大学;2007年

5 程鹏;内燃机数据采集分析系统的研究[D];吉林大学;2004年

6 吴刚;面向复杂环境的数据采集分析系统的研发[D];中国海洋大学;2010年

7 徐峰;基于无线传感器网络的列车空调数据采集分析系统研究[D];吉林大学;2010年

8 张瑞卿;基于ARM的信号采集分析系统研究[D];华北电力大学;2011年

9 高功名;基于虚拟仪器和无线网络的数据采集分析系统研究[D];北京林业大学;2008年

10 柴龙;心电脉搏信号同步采集分析系统的研究[D];兰州理工大学;2008年

本文编号：2530931