基于Hadoop的在线网络日志分析系统研究

发布时间：2018-03-31 02:29

  本文选题：网络安全　切入点：日志分析　出处：《计算机应用与软件》2014年08期

【摘要】：网络日志分析对网络安全管理具有重要意义,但现有的网络日志分析系统具有无法处理海量日志数据、采用离线模式、处理时延较长等弊端。因此,提出网络日志数据的分级归档机制,实现海量数据的分级优化存储功能。通过将传统的网络日志分析模式和基于Hadoop的离线处理模式相结合,设计基于Hadoop的在线网络日志分析系统,并深入分析系统的功能架构和业务处理流程。实验结果表明:该系统具有良好的可扩展性,可以有效存储处理海量日志数据,具有较快的请求响应速度,并能够满足在线处理的要求。从而验证了系统设计的可行性和有效性。
[Abstract]:Network log analysis is of great significance to network security management, but the existing network log analysis system is unable to deal with massive log data, adopts off-line mode, and has many disadvantages such as long time delay and so on.Therefore, the hierarchical archiving mechanism of network log data is proposed to realize the hierarchical optimization storage function of massive data.By combining the traditional network log analysis mode with the offline processing mode based on Hadoop, an online network log analysis system based on Hadoop is designed, and the function structure and business processing flow of the system are analyzed in depth.Experimental results show that the system has good scalability, can effectively store and process massive log data, has a faster request response speed, and can meet the requirements of online processing.The feasibility and effectiveness of the system design are verified.
【作者单位】： 黄淮学院信息工程学院;黄淮学院网络信息管理中心;
【基金】：河南省科技攻关计划项目(122102310474)
【分类号】：TP393.08

【相似文献】

相关期刊论文 前10条

1 史兴键,李伟华,王文奇;基于优化聚类算法的安全审计模型[J];计算机工程与应用;2005年17期

2 刘静,郭秀丽;基于Webalizer的Web服务器日志分析[J];山东电子;2004年02期

3 徐腾;;探析电子证据在计算机犯罪中的取证研究[J];自动化与仪器仪表;2011年04期

4 费宗莲;;Fortinet提供网络安全新产品 集中式日志分析报表系统[J];计算机安全;2006年04期

5 周颖;;如何利用AWStats对VSFTP日志进行分析、统计[J];科技信息;2006年04期

6 梁晓雪;王锋;;基于聚类的日志分析技术综述与展望[J];云南大学学报(自然科学版);2009年S1期

7 陈庭平;沈丽娟;曾鹏;;日志服务器建设和应用[J];网络安全技术与应用;2010年09期

8 段生林;基于防病毒软件的日志分析系统的设计与实现[J];华南金融电脑;2004年12期

9 金花;黄明;梁旭;;基于Frame页面过滤的Web日志挖掘中的数据预处理方法[J];大连铁道学院学报;2006年02期

10 王家兰;王余旺;;基于Web日志分析的Web Qos研究[J];电脑知识与技术(学术交流);2007年19期

相关会议论文 前10条

1 陈晨;郑康锋;;一种基于支持向量机的蜜网系统日志分析方法[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年

2 张莲;钟诚;;校园计算机网络病毒检测系统设计与实现[A];计算机技术与应用进展——全国第17届计算机科学与技术应用（CACIS）学术会议论文集（下册）[C];2006年

3 赵艳;许榕生;;信息安全综合审计系统的研究综述[A];第十三届全国核电子学与核探测技术学术年会论文集（下册）[C];2006年

4 陈庆章;王磊;毛科技;戴国勇;;基于防火墙日志的在线攻击侦查系统的设计与实现(英文)[A];全国第19届计算机技术与应用（CACIS）学术会议论文集（下册）[C];2008年

5 金松昌;方滨兴;杨树强;贾焰;;基于Hadoop的网络安全日志分析系统的设计与实现[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年

6 刘莉;;基于多协议技术的日志集中管理安全方案[A];2008年中国通信学会无线及移动通信委员会学术年会论文集[C];2008年

7 周涛;;基于数据挖掘的入侵检测日志分析技术研究[A];第二届中国科学院博士后学术年会暨高新技术前沿与发展学术会议程序册[C];2010年

8 沈卫超;;网络流量统计与安全审计系统的设计与实现[A];中国工程物理研究院科技年报（2001）[C];2001年

9 米爱中;钟诚;鲁晓明;罗程;杨锋;;基于UML的校园网病毒报警系统的分析与设计[A];全国第16届计算机科学与技术应用（CACIS）学术会议论文集[C];2004年

10 齐法制;王彦明;崔涛;安德海;;网络日志信息采集与分析系统的设计与实现[A];第十五届全国核电子学与核探测技术学术年会论文集[C];2010年

相关重要报纸文章 前10条

1 王婷;IDC增值服务：网站日志分析[N];计算机世界;2001年

2 ;日志分析中的五个误区[N];网络世界;2004年

3 重庆 航行者;IIS的安全[N];电脑报;2002年

4 陈代寿;网管的四两拨千斤[N];中国计算机报;2004年

5 周永生;让Linux更安全[N];网络世界;2002年

6 shotgun;入侵检测初步（上）[N];电脑报;2001年

7 ;三项全能的“软卫甲”[N];网络世界;2004年

8 中科院计算所 李洋;使用Webalizer进行网络流量日志分析[N];计算机世界;2006年

9 米持平;搭建统一的安全管理平台[N];网络世界;2005年

10 侯小东;防火墙和安全审计[N];中国计算机报;2003年

相关博士学位论文 前4条

1 王玲;网络服务系统日志安全分析技术研究[D];中国科学院研究生院（计算技术研究所）;2006年

2 魏伟杰;面向服务替换的服务行为模式获取及推荐[D];东北大学;2009年

3 刘雪梅;服务器端软件性能分析和诊断方法研究[D];哈尔滨工程大学;2010年

4 赵洁;面向Web的企业竞争情报获取研究[D];中国科学技术大学;2013年

相关硕士学位论文 前10条

1 杨华;可视化日志分析系统的研究与实现[D];西安电子科技大学;2010年

2 薛文娟;基于层次聚类的日志分析技术研究[D];山东师范大学;2013年

3 韩冰;政府网站分布式日志存储与分析系统研究[D];曲阜师范大学;2014年

4 尚魏;多源日志安全信息的融合技术研究[D];哈尔滨工程大学;2010年

5 周兵斌;NIDS警报日志分析系统设计与实现[D];合肥工业大学;2004年

6 张旭晖;面向SaaS模式的应用软件日志架构设计与实现[D];燕山大学;2010年

7 宋爱青;基于Hadoop的日志分析系统的设计与实现[D];中国地质大学(北京);2012年

8 邓海川;日志分析系统的任务调度方法研究[D];南京航空航天大学;2013年

9 郑长庆;基于日志分析的网络监视系统的设计与实现[D];浙江大学;2005年

10 王振亚;基于MFI-WT算法的蜜网日志分析研究[D];北京邮电大学;2013年

，

本文编号：1688777