银行资产负债管理数据的分布式ETL设计与实现

发布时间：2017-12-17 09:18

  本文关键词：银行资产负债管理数据的分布式ETL设计与实现

  更多相关文章： Hadoop 分布式ETL Map Reduce 银行资产负债管理数据

【摘要】：随着大数据时代的到来,数据量的激增,为数据分析提供了基础,促进了以数据仓库技术、数据挖掘技术为基础的商业智能的蓬勃发展。在银行资产负债管理过程中积累了一定量的数据时,基于数据仓库技术,对数据进行挖掘,能够从中发现很多有价值的信息以辅助银行管理层的决策。然而,随着银行业务数据量的激增,ETL实施作为银行数据仓库开发过程中最关键的部分之一,已经无法满足银行资产负债管理过程中大数据量处理的需求。因此,本文针对现有的银行资产负债管理数据ETL过程中数据处理效率比较低以及对非结构化数据的处理支持不足的问题,研究银行资产负债管理数据的分布式ETL。本文通过分析银行资产管理中ETL实施过程中数据来源,梳理和分析信用卡业务和其他业务的业务数据处理需求以及相关功能需求,设计分布式ETL的总体框架以及数据抽取、转换和加载功能,运用Map Reduce技术和My SQL数据库,在Hadoop平台上设计与实现了银行资产负债管理数据的分布式ETL。从而解决Map-Reduce技术、分布式ETL和My SQL等关键技术在银行资产负债管理数据中的应用。通过性能测试并对测试进行分析,测试结果表明分布式ETL明显优于一般ETL的性能,本文所设计和实现的银行资产负债管理数据的分布式ETL具有良好的性能,可以一定程度上满足银行资产负债管理过程中大数据量处理的需求。
【学位授予单位】：湖南大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：F830.42;TP311.13

【参考文献】

中国期刊全文数据库 前10条

1 王彦博;;大数据时代商业银行数据挖掘攻略[J];金融电子化;2014年01期

2 孙莉;何刚;李继云;;基于Hadoop平台的事实并行处理算法[J];计算机工程;2014年03期

3 李晨翔;何刚;孙莉;;基于Hadoop平台的分布式ETL系统设计与实现[J];福建电脑;2013年11期

4 刘豹;;一种分布式ETL工具的设计与实现[J];软件;2013年10期

5 尹芳;冯敏;诸云强;刘睿;;基于开源Hadoop的矢量空间数据分布式处理研究[J];计算机工程与应用;2013年16期

6 宋杰;郝文宁;陈刚;靳大尉;赵水宁;;基于MapReduce的分布式ETL体系结构研究[J];计算机科学;2013年06期

7 聂瑞;卢建军;卫晨;;基于Hadoop平台的OLAP煤炭销售数据分析系统[J];工矿自动化;2012年11期

8 段松青;吴斌;于乐;王柏;;PDM:基于Hadoop的并行数据分析系统[J];湖南大学学报(自然科学版);2012年10期

9 李建江;崔健;王聃;严林;黄义双;;MapReduce并行编程模型研究综述[J];电子学报;2011年11期

10 张亮;夏秀峰;;分布式ETL负载均衡策略研究[J];计算机与现代化;2011年09期

中国硕士学位论文全文数据库 前7条

1 李俭;基于数据仓库的商业银行资产负债管理软件设计与实现[D];湖南大学;2014年

2 何刚;基于Hadoop平台的分布式ETL研究与实现[D];东华大学;2014年

3 王晓伟;面向大数据的ETL设计与实现[D];华中科技大学;2013年

4 王欣;基于分布式ETL的电子政务决策系统设计和实现[D];复旦大学;2012年

5 贾文娟;基于hive分布式计算与数据挖掘的关联性营销的设计与实现[D];北京交通大学;2011年

6 翟永东;Hadoop分布式文件系统（HDFS）可靠性的研究与优化[D];华中科技大学;2011年

7 朱珠;基于Hadoop的海量数据处理模型研究和应用[D];北京邮电大学;2008年

，

本文编号：1299579