基于ES的银行系统智能运维平台的设计与研究
【学位授予单位】:兰州大学
【学位级别】:硕士
【学位授予年份】:2019
【分类号】:F832.33;TP311.52
【图文】:
3.1 整体需求分析3.1.1 功能性需求分析本智能运维平台功能上主要关注以下问题:(1)海量日志采集解析问题,能够灵活采集到多种来源的日志数据,保证不会对日志源系统造成压力,可以将采集到的不规则日志数据转换整合为规则的日志数据。(2)日志传输问题,能够稳定的把日志数据在各模块之间进行及时安全传输,保证数据及时有效不丢失。(3)海量日志搜索和存储问题,能够高效率的搜索和存储这些海量日志数据。(4)海量日志数据可视化展示问题,能够对海量存储的日志数据实时监控可视化展示。(5)智能运维问题,如何在故障未发生或刚一发生时及时告警,运维人员能在第一时间快速定位处理,保障系统的可连续性。对以上功能性需求分析之后,设计并实现了如图 3-1 所示的系统功能。
兰州大学硕士研究生学位论文 基于 ES 的银行系统智能运维平台的设计与研究3.2 系统整体架构设计3.2.1 系统架构设计本智能运维平台是一个基于分布式集群架构构建的,随着数据和计算规模的增长,分布式系统是朝着越来越轻量级的资源利用,以及越来越细的粒度和松耦合的服务化方向发展的。本平台系统根据软件工程的两个大核心思想:面向接口编程和分而治之的思想,按照系统功能进行了合理模块化的划分,将系统划分为海量日志采集解析模块、消息/发布订阅模块、分布式数据搜索和存储模块、数据可视化模块和智能工作站模块,整个系统的整体架构如图 3-2 所示。
【参考文献】
相关期刊论文 前10条
1 李振伟;;大数据对银行业的影响及应对建议[J];金融经济;2015年16期
2 姜康;冯钧;唐志贤;王超;;基于ElasticSearch的元数据搜索与共享平台[J];计算机与现代化;2015年02期
3 彭小圣;邓迪元;程时杰;文劲宇;李朝晖;牛林;;面向智能电网应用的电力大数据关键技术[J];中国电机工程学报;2015年03期
4 王正也;李书芳;;一种基于Hive日志分析的大数据存储优化方法[J];软件;2014年11期
5 张沛;杨华飞;许元斌;;电力大数据及其在电网公司的应用(英文)[J];中国电机工程学报;2014年S1期
6 朱进;胡斌;邵华;罗青;江南;张景云;;基于内存数据库Redis的轻量级矢量地理数据组织[J];地球信息科学学报;2014年02期
7 赵龙;江荣安;;基于Hive的海量搜索日志分析系统研究[J];计算机应用研究;2013年11期
8 曾超宇;李金香;;Redis在高速缓存系统中的应用[J];微型机与应用;2013年12期
9 吴永飞;;华夏银行一体化运维监控模式的研究和实践[J];中国金融电脑;2013年03期
10 王心妍;;Memcached和Redis在高速缓存方面的应用[J];无线互联科技;2012年09期
相关硕士学位论文 前6条
1 卜晓宁;基于大数据中查询日志的用户行为分析系统的设计与实现[D];北京交通大学;2015年
2 龙少杭;基于Storm的实时大数据分析系统的研究与实现[D];上海交通大学;2015年
3 刘惠;网络安全设备联动系统日志预处理的研究与设计[D];华北电力大学;2014年
4 蔡妙琪;基于Linux防火墙的研究及日志分析[D];安徽理工大学;2013年
5 王谦;HADOOP作业启动性能优化实践[D];北京交通大学;2012年
6 程苗;云计算技术在web日志挖掘中的应用研究[D];中国科学技术大学;2011年
本文编号:2731601
本文链接:https://www.wllwen.com/jingjilunwen/huobiyinxinglunwen/2731601.html