证券交易系统日志采集分析平台的设计与实现

发布时间：2025-01-17 13:52

　　随着信息技术和互联网技术在证券金融行业的广泛应用,越来越多的证券业务通过互联网来完成。伴随证券行业信息化程度的不断深入,证券交易系统中的日志数据呈现爆炸式增长趋势。这些日志中不仅包含系统的运行状态信息,并且包含海量的客户行为信息。在传统的方式中,日志的处理是基于单点服务器,效率低、扩展性和存储都受到很大的限制,更难以支持基于日志的分析处理。同时,证券监管机构对证券公司开展网上证券交易业务的相关要求,证券交易系统的日志必须长期保存,用于配合监管机构查阅客户相关的交易行为和系统故障的事后排查。在此背景下,开发日志采集分析平台,实现对证券交易系统日志数据进行统一实时收集、集中存储以及查询分析,对提升监管质量和提高业务分析能力都有重要意义。主要工作如下:(1)分析证券交易系统日志采集分析平台功能需求。设计了证券交易系统日志采集分析平台的总体架构。主要包含五个模块:日志采集模块、数据缓存模块、数据处理模块、数据存储索引模块和结构可视化模块。(2)针对总体架构中各模块的功能,结合实际的日志结构设计了各个模块的基础架构及业务流程,基于ELK Stack和Kafka消息队列实现证券交易系统日志采集分析平...

【文章页数】：79 页

【学位级别】：硕士

【部分图文】：

图2-1P2P模式结构

东南大学硕士学位论文8相对比较复杂，但拥有更多的主动权。图2-1P2P模式结构2.1.2.2Pub/Sub（发布/订阅模型）发布/订阅模型其结构如图2-2所示。在此模型中，消息的生产者也被称作为发布者（Publisher），消息的消费者也被称作为订阅者（Subscriber），两....

图2-2发布/订阅模型结构

东南大学硕士学位论文8相对比较复杂，但拥有更多的主动权。图2-1P2P模式结构2.1.2.2Pub/Sub（发布/订阅模型）发布/订阅模型其结构如图2-2所示。在此模型中，消息的生产者也被称作为发布者（Publisher），消息的消费者也被称作为订阅者（Subscriber），两....

图2-3Lucene系统结构

东南大学硕士学位论文10图2-3Lucene系统结构Lucene源代码主要由7个模块组成。其中analysis、index和search3个为核心类。analysis主要功能为分词，具体由analyzer的扩展类实现。index类主要负责提供读写接口，通过该接口可以实现创建新索引....

图2-4Lucene创建和搜索流程

东南大学硕士学位论文10图2-3Lucene系统结构Lucene源代码主要由7个模块组成。其中analysis、index和search3个为核心类。analysis主要功能为分词，具体由analyzer的扩展类实现。index类主要负责提供读写接口，通过该接口可以实现创建新索引....

本文编号：4028149