基于Hadoop的银行实时统计报表研究与实现

发布时间：2022-09-27 18:56

　　通常来说,银行的生产经营情况多通过报表的形式进行展示,并通过对报表数据进行智能化的统计分析,得到对银行管理层决策有用的信息。报表系统是利用计算机对数据进行专门统计分析并生成报表的工具,在银行运行和管理中起到非常重要的作用。本文通过对某银行的报表系统研究,发现了两个问题,一是无法很好完成千万级以上的数据计算,二是对报表数据进行实时统计、查询。该银行的现有报表系统利用存储过程对数据进行计算,由于交易数据量持续增长,当数据量过大时,利用存储过程对数据进行计算的方式效率过低,无法满足当前对数据计算的需求;另外,该银行进行报表数据查询时,现有系统是对数据进行离线计算,然后直接查询数据库获取计算结果,这种方案存在两个问题:一是当查询数据总量达到千万级以上时,无法满足快速查询的要求,而且查询对数据库产生了巨大的压力;二是数据无法实时统计、查询。针对上面存在的问题,本文提出了具体的解决方法。（1）针对千万级以上的数据无法很好地进行计算的问题,采用“分治”的思想,提出了使用HDFS完成数据存储和MapReduce并行计算的方法,对数据计算并保存为中间文件,然后对中间文件合并的解决方案,成功实现了大数据量... 

【文章页数】：65 页

【学位级别】：硕士

【部分图文】：

SolrCloud 的逻辑结图

原有报表系统框架图

改进后报表系统总体框架图

【参考文献】：
期刊论文
[1]基于水晶报表的查收查引报告自动生成的设计与实现[J]. 阚洪海,赵杰.  现代情报. 2017(04)
[2]DES算法在自行车租赁系统中的应用[J]. 魏文俊,张晶,朱鹏宇.  计算技术与自动化. 2017(01)
[3]大数据实时计算平台技术综述[J]. 周志阳,陈飞.  中国新通信. 2017(04)
[4]基于J2EE的分布式网络书店管理系统的设计与实现[J]. 李围成,张雪萍.  电脑知识与技术. 2015(05)
[5]高性能分布式搜索引擎Solr的研究与实现[J]. 赵璞,朱志祥,张康益.  电子科技. 2015(04)
[6]用友UFO报表系统存在的问题及对策[J]. 冯鑫永.  财会月刊. 2014(03)
[7]基于FastReport的客户管理系统的报表设计[J]. 董思文,屠培期.  城市公用事业. 2013(06)
[8]基于Hive的海量搜索日志分析系统研究[J]. 赵龙,江荣安.  计算机应用研究. 2013(11)
[9]企业数据统计分析报表系统的设计分析[J]. 宋华.  决策与信息(中旬刊). 2013(05)
[10]中资银行境外分行报表系统分析[J]. 王文欣.  现代商贸工业. 2013(03)

硕士论文
[1]大数据量下的实时数据报表系统的设计与实现[D]. 周豪.北京交通大学 2016
[2]DES和RSA混合加密算法的研究[D]. 吴明航.哈尔滨工业大学 2013



本文编号：3681431