当前位置:主页 > 经济论文 > 银行论文 >

基于ES的银行系统智能运维平台的设计与研究

发布时间:2020-06-27 08:43
【摘要】:随着社会信息化的建设,银行业务线上化成为主流,电子替代率越来越高,需满足客户需求的银行系统也越来越多。同时随着银行客户、业务和系统的不断扩大,银行系统中已经累积了海量的日志信息,这些日志信息产生速度快、类型丰富多样、且蕴藏着银行各类系统运行的关键信息,对确保银行系统的健壮性和稳定性研究都有极其重要的意义。如何能够有效地对银行系统的日志进行采集、解析、存储和分析管理对银行的发展显得极其重要。日志的分析过程要求快速性和及时性,需要投入大量的时间成本和人力成本来跟进,给银行系统运维工作带来了极大的困扰。经过对某城市商业银行的深入调研,本文从某城市商业银行数千台生产服务器产生的海量日志为研究基础数据,结合银行系统特点和日志提升系统运维能力的需求,设计实现了基于Elasticsearch(简称ES)技术的银行系统智能运维平台。本文的主要工作包括:(1)设计并实现了针对银行系统的数据采集解析平台。从该城市商业银行的业务系统日志数据采集的基础上,增加对中间件,主机,负载均衡器,防火墙,数据库和操作系统层面的日志原始数据采集,经过实时解析和计算完成对原始数据的萃取、清理、转换和整合,将非结构化、半结构化和混合类型数据提炼处理并应用在运维管理中。同时保障了数据的安全性和完整性。(2)研究海量日志的实时收集,分析、搜索和存储等的关键技术,使用功能强大的Elasticsearch技术,实现海量日志实时高效的搜索和存储。同时,这些存储好的海量数据又会被用于系统问题的定位、搜索、分析、干预、解决和预测,进而提升各个系统运维的效率和服务水平。(3)研究使用Kibana技术实现Elasticsearch存储数据的实时监控可视化展示,且通过Kibana可视化页面对Elasticsearch存储数据实现页面高效检索。(4)实现智能化铺助运维。本文使用时间序列预测算法Prophet进行了数据预测异常分析,观察数据的走势,以及判断是否在正常情况下的可接受的范围内,如果超出平时的实际值太多,管理员就应该引起注意,以做好积极应对准备,减少系统异常瘫痪时间,保证系统平稳安全运行。且实现异常及时告警机制,有效提升了运维效率和排障效率。
【学位授予单位】:兰州大学
【学位级别】:硕士
【学位授予年份】:2019
【分类号】:F832.33;TP311.52
【图文】:

模块图,运维,智能,日志


3.1 整体需求分析3.1.1 功能性需求分析本智能运维平台功能上主要关注以下问题:(1)海量日志采集解析问题,能够灵活采集到多种来源的日志数据,保证不会对日志源系统造成压力,可以将采集到的不规则日志数据转换整合为规则的日志数据。(2)日志传输问题,能够稳定的把日志数据在各模块之间进行及时安全传输,保证数据及时有效不丢失。(3)海量日志搜索和存储问题,能够高效率的搜索和存储这些海量日志数据。(4)海量日志数据可视化展示问题,能够对海量存储的日志数据实时监控可视化展示。(5)智能运维问题,如何在故障未发生或刚一发生时及时告警,运维人员能在第一时间快速定位处理,保障系统的可连续性。对以上功能性需求分析之后,设计并实现了如图 3-1 所示的系统功能。

运维,智能,平台


兰州大学硕士研究生学位论文 基于 ES 的银行系统智能运维平台的设计与研究3.2 系统整体架构设计3.2.1 系统架构设计本智能运维平台是一个基于分布式集群架构构建的,随着数据和计算规模的增长,分布式系统是朝着越来越轻量级的资源利用,以及越来越细的粒度和松耦合的服务化方向发展的。本平台系统根据软件工程的两个大核心思想:面向接口编程和分而治之的思想,按照系统功能进行了合理模块化的划分,将系统划分为海量日志采集解析模块、消息/发布订阅模块、分布式数据搜索和存储模块、数据可视化模块和智能工作站模块,整个系统的整体架构如图 3-2 所示。

【参考文献】

相关期刊论文 前10条

1 李振伟;;大数据对银行业的影响及应对建议[J];金融经济;2015年16期

2 姜康;冯钧;唐志贤;王超;;基于ElasticSearch的元数据搜索与共享平台[J];计算机与现代化;2015年02期

3 彭小圣;邓迪元;程时杰;文劲宇;李朝晖;牛林;;面向智能电网应用的电力大数据关键技术[J];中国电机工程学报;2015年03期

4 王正也;李书芳;;一种基于Hive日志分析的大数据存储优化方法[J];软件;2014年11期

5 张沛;杨华飞;许元斌;;电力大数据及其在电网公司的应用(英文)[J];中国电机工程学报;2014年S1期

6 朱进;胡斌;邵华;罗青;江南;张景云;;基于内存数据库Redis的轻量级矢量地理数据组织[J];地球信息科学学报;2014年02期

7 赵龙;江荣安;;基于Hive的海量搜索日志分析系统研究[J];计算机应用研究;2013年11期

8 曾超宇;李金香;;Redis在高速缓存系统中的应用[J];微型机与应用;2013年12期

9 吴永飞;;华夏银行一体化运维监控模式的研究和实践[J];中国金融电脑;2013年03期

10 王心妍;;Memcached和Redis在高速缓存方面的应用[J];无线互联科技;2012年09期

相关硕士学位论文 前6条

1 卜晓宁;基于大数据中查询日志的用户行为分析系统的设计与实现[D];北京交通大学;2015年

2 龙少杭;基于Storm的实时大数据分析系统的研究与实现[D];上海交通大学;2015年

3 刘惠;网络安全设备联动系统日志预处理的研究与设计[D];华北电力大学;2014年

4 蔡妙琪;基于Linux防火墙的研究及日志分析[D];安徽理工大学;2013年

5 王谦;HADOOP作业启动性能优化实践[D];北京交通大学;2012年

6 程苗;云计算技术在web日志挖掘中的应用研究[D];中国科学技术大学;2011年



本文编号:2731601

资料下载
论文发表

本文链接:https://www.wllwen.com/jingjilunwen/huobiyinxinglunwen/2731601.html


Copyright(c)文论论文网All Rights Reserved | 网站地图 |

版权申明:资料由用户a7653***提供,本站仅收录摘要或目录,作者需要删除请E-mail邮箱bigeng88@qq.com