MQ多线程处理算法实现大数据处理的设计及实现

发布时间：2020-12-12 15:47

　　随着大数据时代的到来,银行业的传统集中式开发部署模式已经无法适应于现代大数据量数据加工及存储,再加上银行对静态大数据进行利用的浓烈兴趣,行业内智能化、自动化、大数据化的趋势使金融系统迎来了转型升级的时期,各行也积极开展大数据及智能化平台。同时由于数据量的增长,对于消息中间件的要求也在不断提高,如何能提高可靠性、处理效率,使系统间信息传输更加稳定、快速,是金融系统对消息中间件的主要要求。作为银行业大数据量数据的一种,征信信息近些年已经越来越受到金融及银行业的关注,它贯穿于客户的整个业务周期,对客户征信信息的监控可以有效的控制风险。据在银行业内的调查,银行很多业务如个贷、信用卡、客户识别、公司授信等均需要使用征信信息进行客户的风险把控。面对大数据量的征信信息需求,如何能够正确、快速的处理、存储并且有效的使用这些征信信息,是银行业在这方面急需解决的课题。本文从大数据征信信息的处理、存储及使用入手,以银行对征信信息管理和使用的实际业务需求出发,探讨在大数据环境下金融系统对数据处理、中间件消息传递以及数据挖掘的方法。提出采用分布式技术提高系统的可靠性,并运用其高扩展性解决对大数据的加工,使用IB... 

【文章来源】：上海交通大学上海市 211工程院校 985工程院校 教育部直属院校

【文章页数】：88 页

【学位级别】：硕士

【部分图文】：

MQ消息中间件的集群技术效果图

图.3-9 MQ 消息中间件的集群技术效果图Fig.3-9 MQ multiple instances impression drawing当收到其他系统发送的请求后，网关队列管理器通过集群通道将发到各个成员队列管理器的集群队列中，应用程序读取相应分成员队列管理器的集群队列获取数据，将数据进行分流处理。展示了集群将任务分发至队列中的。

收入信息两项进行征信指标计算，并与客户不良状况进行匹配，获得指标与不良关系的聚类结果，用于自动校准基于年龄、收入的征信指标参数值。图.3-12 智能校准示例Fig.3-12 Example of intelligent calibration

【参考文献】：
期刊论文
[1]大数据基础存储系统技术研究[J]. 王瑞通,李炜春.  计算机技术与发展. 2017(08)
[2]大数据挖掘在银行业务领域的应用[J]. 李小庆.  金融科技时代. 2017(05)
[3]Hadoop和Spark在实验室中部署与性能评估[J]. 薛志云,何军,张丹阳,曹维焯.  实验室研究与探索. 2015(11)
[4]以大数据技术实现对公不良(逾期)贷款的预警[J]. 祁奇.  中国金融电脑. 2015(09)
[5]互联网金融中的大数据征信体系构建[J]. 赵海蕾,邓鸣茂,汪桂霞.  经济视角(上旬刊). 2015(04)
[6]基于Storm和Hadoop的大数据处理架构的研究[J]. 靳永超,吴怀谷.  现代计算机(专业版). 2015(04)
[7]大数据系统和分析技术综述[J]. 程学旗,靳小龙,王元卓,郭嘉丰,张铁赢,李国杰.  软件学报. 2014(09)
[8]大数据的教育应用研究综述[J]. 刘凤娟.  现代教育技术. 2014(08)
[9]安全大数据的“7个V”——大数据基础问题与信息安全的交叉探究[J]. 潘柱廷.  中国信息安全. 2013(09)
[10]大数据存储技术和标准化[J]. 李海波,程耀东.  信息技术与标准化. 2013(05)

硕士论文
[1]商业银行信用卡客户数据异常识别建模与实证分析[D]. 柏巍.南京大学 2014



本文编号：2912849