信息管理系统日志分析系统的设计与实现

发布时间：2019-09-02 12:27

【摘要】：当今社会,互联网面临数以亿计百亿次的用户访问,同时产生了大量记录用户访问信息的日志文件,这些隐藏着用户访问规律的日志信息是一笔非常珍贵的财富。如何处理这些海量日志数据,逐渐成为业界一大热门领域。本文在hadoop平台的基础上,以信息管理系统日志文件为切入点,基于信息管理系统日志文件的特点、日志分析的业务特点,设计了一种能正确满足信息管理系统日志分析业务需求的软件架构,并阐述了该软件架构的设计思想,论述了选择软件架构的理由。该设计在逻辑与功能上将整个系统设计为日志采集、日志存储、日志处理、处理结果存储、结果展示五个部分。在面对海量日志数据时,该设计能较好地满足业务与性能需求,同时具有部件耦合性低,后期维护简单等优点。结合实际的业务需求,以山东大学研究生管理信息系统为例,本文给出了该软件结构设计的具体软件实施方案与核心代码实现。在论述系统中日志采集部分的实现方式时,比较了 Flume与Scribe的异同,介绍了如何配置Tomcat日志与Flume组件,并给出来具体的配置方案。在讲解系统中日志存储部分的设计与实现时,论述了选择HDFS作为存储方式的理由,并给出了具体实现。在设计实现系统中日志处理部分时,结合日志分析的业务特点,详细介绍了 MapReduce在该系统中如何实现日志分析,阐述了 MapReduce编程模型在处理海量日志文件的优势,比较了 Hive与传统关系型数据之间的异同。同时,根据业务设计出Hive表结构。在介绍系统中处理结果存储部分的实现方式时,展示了 MySQL数据库在实现该部分时具有的优点,并给出具体表结构。在论述系统中结果展示部分的实现方式时,简单配置实现了一个小型信息展示系统,并简单介绍了如何使用可视化控件ECharts实现结果数据展示,并给出核心实现代码。
【学位授予单位】：山东大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：TP311.52

【相似文献】

相关期刊论文 前10条

1 文娟,薛永生,段江娇,王劲波;基于关联规则的日志分析系统的设计与实现[J];厦门大学学报(自然科学版);2005年S1期

2 张晓刚;潘久辉;;MS SQL Server 2000日志分析方法的研究与实现[J];计算机工程与设计;2006年19期

3 李春林;周根鸿;张文体;;重视日志审计确保数据安全[J];医学信息;2007年10期

4 梁晓雪;王锋;;基于聚类的日志分析技术综述与展望[J];云南大学学报(自然科学版);2009年S1期

5 黄海隆;陈赛娉;;计算机日志分析与管理方法的研究[J];大众科技;2006年07期

6 郑毅;;基于日志分析的网络IDS研究[J];襄樊学院学报;2008年11期

7 陈庭平;沈丽娟;曾鹏;;日志服务器建设和应用[J];网络安全技术与应用;2010年09期

8 邹先霞;贾维嘉;潘久辉;;基于数据库日志的变化数据捕获研究[J];小型微型计算机系统;2012年03期

9 罗新;;防火墙日志分析系统的设计与实现[J];计算机时代;2012年02期

10 姜良华;崔建明;;Serv-U FTP服务器日志分析系统设计与实现[J];电脑知识与技术;2010年28期

相关会议论文 前10条

1 马辰;武斌;;一种基于攻击事件图的蜜网日志分析方法[A];虚拟运营与云计算——第十八届全国青年通信学术年会论文集（下册）[C];2013年

2 周涛;;基于数据挖掘的入侵检测日志分析技术研究[A];第二届中国科学院博士后学术年会暨高新技术前沿与发展学术会议程序册[C];2010年

3 陈晨;郑康锋;;一种基于支持向量机的蜜网系统日志分析方法[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年

4 刘莉;;基于多协议技术的日志集中管理安全方案[A];2008年中国通信学会无线及移动通信委员会学术年会论文集[C];2008年

5 耿涛;;Web日志分析在电子数据取证中的应用[A];第二十一次全国计算机安全学术交流会论文集[C];2006年

6 闫龙川;王怀宇;李枫;毛一凡;;基于Hadoop的邮件日志分析与研究[A];2012电力行业信息化年会论文集[C];2012年

7 陈庆章;王磊;毛科技;戴国勇;;基于防火墙日志的在线攻击侦查系统的设计与实现(英文)[A];全国第19届计算机技术与应用（CACIS）学术会议论文集（下册）[C];2008年

8 王振亚;武斌;;基于MFI-WT算法的蜜网日志分析方法[A];第十七届全国青年通信学术年会论文集[C];2012年

9 金松昌;方滨兴;杨树强;贾焰;;基于Hadoop的网络安全日志分析系统的设计与实现[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年

10 朱金清;王建新;陈志泊;;基于APRIORI的层次化聚类算法及其在IDS日志分析中的应用[A];第二十四届中国数据库学术会议论文集（研究报告篇）[C];2007年

相关重要报纸文章 前10条

1 中航工业南方航空工业集团(有限)公司科技与信息部 邹沪湘;分析日志识别暴力破解[N];计算机世界;2013年

2 ;日志分析中的五个误区[N];网络世界;2004年

3 陈代寿;网管的四两拨千斤[N];中国计算机报;2004年

4 IBM大数据专家 James Kobielus　范范 编译;大数据日志分析借机器学习腾飞[N];网络世界;2014年

5 《网络世界》评测实验室 于洋;用好Web日志[N];网络世界;2004年

6 重庆 航行者;IIS的安全[N];电脑报;2002年

7 河南工业职业技术学院 邱建新;监测Squid日志的五种方法[N];计算机世界;2005年

8 shotgun;入侵检测初步（上）[N];电脑报;2001年

9 朱闵;浅谈企业核心应用的安全审计(下)[N];网络世界;2008年

10 覃进文;在Windows 2000&&2003下快速安装Webalizer[N];中国电脑教育报;2003年

相关博士学位论文 前3条

1 饶翔;基于日志的大规模分布式软件系统可信保障技术研究[D];国防科学技术大学;2011年

2 曹志波;基于日志的任务建模及调度优化的研究[D];华南理工大学;2014年

3 胡蓉;WEB日志和子空间聚类挖掘算法研究[D];华中科技大学;2008年

相关硕士学位论文 前10条

1 张天生;日志采集与分析在Web网站中的设计与实现[D];上海交通大学;2015年

2 周海靖;日志大数据分析平台技术研究[D];山东大学;2015年

3 赖特;网络安全设备日志融合技术研究[D];电子科技大学;2015年

4 董妍妍;基于Hadoop的Teradata数据仓库日志分析系统的设计与实现[D];南京大学;2014年

5 李名弈;IPTVQOS日志分析方法研究[D];复旦大学;2013年

6 刘季函(Liu,Chi Han);基于Spark的网络日志分析系统的设计与实现[D];南京大学;2014年

7 李荣荣;基于Hadoop平台的日志分析系统[D];复旦大学;2013年

8 周云斌;基于主机的日志大数椐分析及安全性检查[D];大连理工大学;2015年

9 张迪;基于NoSQL的大规模Web日志分析系统的设计与实现[D];复旦大学;2013年

10 潘宇轩;基于Django的日志分析系统的设计与实现[D];南京大学;2014年

，

本文编号：2530934