基于Spring Batch+Gemfire+CXF的金融大数据集成和整合

发布时间：2021-01-09 21:58

　　传统跨国银行的巴塞尔风控系统,每天面临万亿级数据的海量金融数据整合。提升海量数据整合的效率、稳定和扩展能力已成为巴塞尔系统使用者的迫切需求。通过时下较为成熟、稳定、轻量级Spring batch+Gemfire+CXF系统框架,以面向服务模式重构整个业务处理系统。利用Spring Batch做高扩展、低耦合数据加载和计算,使用Gemfire做高速缓存以及CXF做数据接口发布。结果表明,该方法极大提升了系统运行效率、可靠性以及可扩展性,满足了巴塞尔风控系统中金融大数据整合的需求。 

【文章来源】：计算机应用与软件. 2020,37(08)北大核心

【文章页数】：7 页

【部分图文】：

系统功能模块图

按照上述的系统主要功能需求,数据整合核心服务层主要分为Spring Batch大数据加载和通用服务数据处理两大部分。Spring Batch+Gemfire+CXF 轻量级架构系统结构如图2所示。本文利用Spring Batch批量读入大文件,使用Mapper将文件数据映射成对象数据,根据数据类型适配不同的数据处理器(Processor),并调用通用服务中与之对应的服务进行数据处理,将处理完成的数据存储进数据库,并发布在Gemfire cache中。

数据处理流程如图3所示。本文将处理的数据分解为Job,并且为其定义属性和基础设施,通过Reader、Processor和Writer来实现数据业务处理、基于Pojo的开发以及领域对象描述。本文分别使用了如下组件:

【参考文献】：
期刊论文
[1]面向风险管理的银行大数据分析系统架构研究[J]. 卢小宾,徐超.  信息资源管理学报. 2018(02)
[2]基于Spring Batch数据迁移处理系统的设计与实现[J]. 金石声,李珏.  中国新通信. 2016(20)
[3]基于GemFire的海量数据计算性能实验分析[J]. 徐翔,邹复民,廖律超,朱铨.  计算机应用. 2013(01)
[4]事务控制的面向服务系统的动态更新协调[J]. 王德俊,黄林鹏,徐小辉.  软件学报. 2011(11)
[5]大数据分析——RDBMS与MapReduce的竞争与共生[J]. 覃雄派,王会举,杜小勇,王珊.  软件学报. 2012(01)
[6]基于银行数据仓库的ETL系统的设计与实现[J]. 常艳莉,李一凡,赵怀慈.  微计算机信息. 2006(24)
[7]用BCP程序解决新老校区MELINETS系统的数据平衡[J]. 徐金红.  情报杂志. 2004(07)



本文编号：2967473