基于ELK的商业银行大数据检索平台的设计与实现

发布时间：2022-10-21 10:23

　　互联网的时代,各行各业都产生了大量的数据,银行作为一个特殊的行业,拥有大量客户,银行产品信息越来越多,这些客户每天的对产品和交易信息越来越多,所以银行每天的数据都是成倍增长,如何存储和从这些数据中升级为有用的信息,更好的进行精准营销,成为当前亟待解决的问题。本文针对银行大数据面临的存储问题和数据检索问题,设计了基于ELK的分布式存储和全文检索的银行客户大数据检索平台,该平台包括数据的存储和数据全文检索,并且解决了对查询结果进行可视化展示的功能,提升分析人员数据理解的能力,也帮助银行决策者更好的去精准营销。该平台利用Hadoop或者Elasticsearch进行数据存储,利用Elasticsearch进行全文检索,使用Logstash对数据进行过滤分析,使用Kibana对结果进行可视化展示。本文主要研究了以下内容:1、深入研究国内外针对全文检索使用的技术和算法进行现状分析和未来发展的趋势分析,并对Hadoop存储架构、MapReduce算法、ELK技术栈这些开源技术进行的概述。2、对基于ELK的商业银行客户大数据检索平台进行了总体设计,并对该平台中涉及到的模块进行了具体的需求分析和功能设... 

【文章页数】：74 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
缩略语对照表
第一章 绪论
    1.1 研究背景和意义
    1.2 国内外研究现状
    1.3 研究工作
    1.4 论文内容架构
第二章 大数据检索平台技术概述
    2.1 大数据存储技术
        2.1.1 HDFS分布式文件系统
        2.1.2 Hadoop文件系统
        2.1.3 Map Reduce分布式计算框架介绍
    2.2 大数据检索技术
        2.2.1 Elasticsearch技术简介
        2.2.2 Logstash技术概述
        2.2.3 Kibana技术概述
第三章 银行客户大数据检索平台总体设计
    3.1 银行客户大数据检索平台需求分析
        3.1.1 系统的功能需求分析
        3.1.2 大数据存储需求分析
        3.1.3 大数据全文检索需求分析
        3.1.4 大数据可视化展示需求分析
    3.2 银行客户大数据检索平台总体设计
        3.2.1 大数据检索平台架构
        3.2.2 大数据检索平台功能设计
        3.2.3 大数据存储设计
        3.2.4 大数据全文检索设计
        3.2.5 大数据可视化展示设计
第四章 大数据客户数据检索平台的实现
    4.1 本系统面向的数据
    4.2 设备配置
    4.3 客户数据规模
    4.4 集群及配置
        4.4.1 Hadoop集群配置
        4.4.2 Elasticsearch集群配置
    4.5 使用Kibana制作可视化页面
    4.6 平台整体系统性能
        4.6.1 写入性能
        4.6.2 查询相应时间
        4.6.3 高可用性和可扩展性
第五章 总结和展望
    5.1 论文总结
    5.2 展望
参考文献
致谢
作者简介



本文编号：3695455