面向银行应用场景的大数据平台管理系统设计与实现
发布时间：2021-11-02 16:17
近年来,随着数据的价值受到了越来越多的关注,数据逐渐成为银行的核心资产之一,因此用于实现大数据存储和分析的大数据平台已经成为银行最重要的IT基础设施之一。大数据平台管理系统为大数据平台的管理员提供了对大数据平台的系统管理、基础设施管理、日志管理、用户管理等功能,对于充分发挥大数据平台的应用效能起到了重要的作用。然而随着大数据应用的日益深入,大数据应用鲜明的行业特性使得通用设计的大数据平台管理系统往往难于满足特定行业的大数据应用需求。在银行应用场景中,愈加强烈的竞争使得各银行不得不在大数据应用创新方面给予更多的关注;同时当银行大数据平台越来越复杂时,还对平台管理的复杂度和易用性提出了更高的需求。本文设计并实现了一套面向银行应用场景的大数据平台管理系统。该系统引入了生产用大数据系统和实验用虚拟化系统协同的方法,在不影响生产用大数据系统的应用效能、稳定性和安全性的前提下,解决了便捷构建和管理大数据实验环境的需求,实现了对银行大数据应用创新需求的支撑;运用了大数据技术,通过大数据平台基础设施和服务的配置信息、运行状态等数据的采集、聚合、存储和分析,实现了大数据平台的运行状态评估、异常状态告警,...
【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校
【文章页数】：105 页
【学位级别】：硕士
【部分图文】：
图２－１以Ｈａｄｏｏｐ为核心的大数据软件生态图??４??
?求。因此银行大数据平台管理系统需要针对这些需求进行更进一步的设计和实现。??图３－３展示了银行大数据平台管理系统的需求。??ｐ数据实验室动态创建??■■■■■■■■■■?—？－觀实验室管理??Ｌ生产用大数据系统与数据实验室间数据迁移??大数据平台运行数据采集??－大数据平台运行数据的聚合与存储??￣域Ｊ１平自節赔ｉ￥倘群状态分析??＇？大数据平台历史运行状态查询??Ｌ大数据平台运行状态可视化图表??图３－３银行大数据平台管理系统需求??３．２．１银行应用场景的特殊性??在银行这种特殊的应用场景下，大数据平台管理系统需要考虑和解决一些特??殊的问题。??随着银行数量的不断增加、用户需求的不断提升、银行提供服务的同质化，??导致银行间的竞争愈发激烈。在这样的背景下，通过增强产品的创新能力，强化??用户数据分析来进一步理解用户，从而提高产品的差异化水平和市场竞争力。因??此，借助大数据技术和方法，实现大数据应用创新，也就成为了银行提升业务质??量、保障业务发展的有效解决方案［８］。??同时，由于银行业务关系到用户的资金，对数据的准确性要求非常高，从而??需要应用开发人员、数据分析人员在发布新的应用前，需要进行大量的、精密的??数据实验
用场景下需要满足一些特殊的需求，如数据实验室的搭建、轻量化平台管理等。??在这样的需求背景下，大数据平台的架构需要进行更有针对性的设计??平台的整体架构图如图４－１所示。??Ｉ????????????ｊ??ｉ?生产应用?测赃用ｊ??！?＿?应用层?＿?！??！丨丨．——！?ｉ?．．■■■．．．．?—．￣ｉ?｜数据实验室ｈ?！??：?ＭａｐＲｅｄｕＣ?ｓｐａｒｋ?Ｓｔｏｒｍ?｜?，?＇?，■?．?Ｉ?Ｈ＝?，，?］「?－ＺＺＨ?：??ｉ??１．?１Ｌ：」?数据ｇ移棋?数据实验室?数据实验室?数据?Ｉ？?数据?ｉ??分觀件?｜?Ｄａｔｉｘ?ｈ?管理梭块?＊＊与存°储?＾?：??Ｊ???Ｌｌ?：－－Ｊｌ丨坱?丨?｜横块｜｜?｜｜播块｜｜?ｇ?Ｊ??；丨?￣｜??数据实验室管理子系线?｜｜?平台管理子系统??；??ＳＱＬ?ＮｏＳＱＬ?￣＿?■……?????－?．．．?????????｜??：?数＾系?数＾系?ＨＤＦＳ?｜虚拟化管理?￣计算资源一￣?一￣存储资源ＳＳ?￣￣１１１１?￣?！??；?丨统?丨统???｜?＃冢统?＆ｍ．?｜?丨舰；??ｊ???持久化组件???虔拟化系铳???；??！???生产用大教据系统??实验用虚拟化系统?｜！??ｉ??；??；?生产用大数据系抉所鬌物理设备?实验用虏拟化系统所霱物理设备??；?＾＾９．１?ｊ???面向银行应用场景的大数据平台???图４－１银行大数据平台架构图??在该平台架构设计中
【参考文献】：
期刊论文
[1]北京银行:借助大数据、机器学习技术构建一体化运维管理体系[J]. 杨春光. 中国金融电脑. 2018(07)
[2]基于Hadoop的大数据平台架设探讨[J]. 秦杰仪,曾志,孙蕾,邓昭宇. 现代工业经济和信息化. 2018(05)
[3]大数据时代下的Hadoop智能运维[J]. 吴文昊. 通信世界. 2018(15)
[4]基于大数据的日志分析平台在银行中的研究与实现[J]. 王参参,姜青云,李彤. 网络安全技术与应用. 2018(05)
[5]基于Hadoop技术的银行大数据平台架构设计[J]. 韩健. 电子世界. 2017(22)
[6]Hadoop平台的自动化部署与监控研究[J]. 于金良,朱志祥,李聪颖. 计算机与数字工程. 2016(12)
[7]Hadoop平台下自响应故障感知的检测技术研究实现[J]. 赵序光,张树东,严业平. 计算机测量与控制. 2016(11)
[8]基于海量数据的消息队列的性能对比与优化方案[J]. 刘峰,鄂海红. 软件. 2016(10)
[9]Hadoop管理系统研究与实现[J]. 尤元建,黄增建. 中国新通信. 2016(17)
[10]基于Hadoop生态集群管理系统Ambari的研究与分析[J]. 李可,李昕. 软件. 2016(02)
本文编号：3472110
【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校
【文章页数】：105 页
【学位级别】：硕士
【部分图文】：
图２－１以Ｈａｄｏｏｐ为核心的大数据软件生态图??４??
?求。因此银行大数据平台管理系统需要针对这些需求进行更进一步的设计和实现。??图３－３展示了银行大数据平台管理系统的需求。??ｐ数据实验室动态创建??■■■■■■■■■■?—？－觀实验室管理??Ｌ生产用大数据系统与数据实验室间数据迁移??大数据平台运行数据采集??－大数据平台运行数据的聚合与存储??￣域Ｊ１平自節赔ｉ￥倘群状态分析??＇？大数据平台历史运行状态查询??Ｌ大数据平台运行状态可视化图表??图３－３银行大数据平台管理系统需求??３．２．１银行应用场景的特殊性??在银行这种特殊的应用场景下，大数据平台管理系统需要考虑和解决一些特??殊的问题。??随着银行数量的不断增加、用户需求的不断提升、银行提供服务的同质化，??导致银行间的竞争愈发激烈。在这样的背景下，通过增强产品的创新能力，强化??用户数据分析来进一步理解用户，从而提高产品的差异化水平和市场竞争力。因??此，借助大数据技术和方法，实现大数据应用创新，也就成为了银行提升业务质??量、保障业务发展的有效解决方案［８］。??同时，由于银行业务关系到用户的资金，对数据的准确性要求非常高，从而??需要应用开发人员、数据分析人员在发布新的应用前，需要进行大量的、精密的??数据实验
用场景下需要满足一些特殊的需求，如数据实验室的搭建、轻量化平台管理等。??在这样的需求背景下，大数据平台的架构需要进行更有针对性的设计??平台的整体架构图如图４－１所示。??Ｉ????????????ｊ??ｉ?生产应用?测赃用ｊ??！?＿?应用层?＿?！??！丨丨．——！?ｉ?．．■■■．．．．?—．￣ｉ?｜数据实验室ｈ?！??：?ＭａｐＲｅｄｕＣ?ｓｐａｒｋ?Ｓｔｏｒｍ?｜?，?＇?，■?．?Ｉ?Ｈ＝?，，?］「?－ＺＺＨ?：??ｉ??１．?１Ｌ：」?数据ｇ移棋?数据实验室?数据实验室?数据?Ｉ？?数据?ｉ??分觀件?｜?Ｄａｔｉｘ?ｈ?管理梭块?＊＊与存°储?＾?：??Ｊ???Ｌｌ?：－－Ｊｌ丨坱?丨?｜横块｜｜?｜｜播块｜｜?ｇ?Ｊ??；丨?￣｜??数据实验室管理子系线?｜｜?平台管理子系统??；??ＳＱＬ?ＮｏＳＱＬ?￣＿?■……?????－?．．．?????????｜??：?数＾系?数＾系?ＨＤＦＳ?｜虚拟化管理?￣计算资源一￣?一￣存储资源ＳＳ?￣￣１１１１?￣?！??；?丨统?丨统???｜?＃冢统?＆ｍ．?｜?丨舰；??ｊ???持久化组件???虔拟化系铳???；??！???生产用大教据系统??实验用虚拟化系统?｜！??ｉ??；??；?生产用大数据系抉所鬌物理设备?实验用虏拟化系统所霱物理设备??；?＾＾９．１?ｊ???面向银行应用场景的大数据平台???图４－１银行大数据平台架构图??在该平台架构设计中
【参考文献】：
期刊论文
[1]北京银行:借助大数据、机器学习技术构建一体化运维管理体系[J]. 杨春光. 中国金融电脑. 2018(07)
[2]基于Hadoop的大数据平台架设探讨[J]. 秦杰仪,曾志,孙蕾,邓昭宇. 现代工业经济和信息化. 2018(05)
[3]大数据时代下的Hadoop智能运维[J]. 吴文昊. 通信世界. 2018(15)
[4]基于大数据的日志分析平台在银行中的研究与实现[J]. 王参参,姜青云,李彤. 网络安全技术与应用. 2018(05)
[5]基于Hadoop技术的银行大数据平台架构设计[J]. 韩健. 电子世界. 2017(22)
[6]Hadoop平台的自动化部署与监控研究[J]. 于金良,朱志祥,李聪颖. 计算机与数字工程. 2016(12)
[7]Hadoop平台下自响应故障感知的检测技术研究实现[J]. 赵序光,张树东,严业平. 计算机测量与控制. 2016(11)
[8]基于海量数据的消息队列的性能对比与优化方案[J]. 刘峰,鄂海红. 软件. 2016(10)
[9]Hadoop管理系统研究与实现[J]. 尤元建,黄增建. 中国新通信. 2016(17)
[10]基于Hadoop生态集群管理系统Ambari的研究与分析[J]. 李可,李昕. 软件. 2016(02)
本文编号：3472110
本文链接：https://www.wllwen.com/guanlilunwen/yunyingzuzhiguanlilunwen/3472110.html
