基于流计算的证券数据流异常检测系统的设计与实现
发布时间：2021-09-05 08:30
我国的证券市场不断的在发展繁荣,不断的有新的企业在国内上市,交易量也不断增长,其规模的扩大也推动着我国实体经济向前发展。然而由于政治、行业、舆情等大幅变化会对造成证券市场的波动,而证券市场具有联动、易发等特点会反作用于实体经济,阻碍着经济的发展。因此,有必要对当前我国证券市场风险的进行评估,实时对证券市场的异常行为进行监管,越早的发现证券市场的异常情况就可以越快的进行应对。而当今证券监管部门所面临的业务痛点:1)数据量大造成高时延,不能满足高速变化的丰富市场需求;2)异常检测规则的阈值依赖业务领域专家长期积累的业务经验,不能随着市场的变化及时修正。而随着分布式系统的成熟稳定,流计算技术的产生和近年来的不断发展,以及各种机器学习相等算法涌现,考虑构建基于流计算的证券数据流异常检测系统,设计了实时数据源接入、实时数据预处理、实时异常检测和实时异常推出四大模块,对证券数据流进行异常检测并达到实时的秒级告警,从而提高监管效率,确保异常发现的实时性。具体地,本文做了以下工作:首先,本文对交易系统产生的实时增长的证券数据进行分析,尝试了使用实时流计算框架对数据进行接入,设计了使用Kafka作为数据...
【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校
【文章页数】：90 页
【学位级别】：硕士
【部分图文】：
流架构处理图
Apache Flink[31]是一个用于对无边界和有边界数据流进行有状态计算的框架和分布式处理引擎。Flink 设计为运行在所有常见的集群环境中，并且以内存速度和任意规模执行计算。Apache Flink 擅长处理无边界和有边界数据集。在事件和状态上的精确控制使得 Flink 运行时能在无边界流上运行任意类型的应用程序。有界流由算法和数据结构内部处理，这些算法和数据结构专门针对固定大小的数据集而设计，从而获得优秀的性能。Flink 可与所有常见的集群资源管理器（如 Hadoop YARN，Apache Mesos 和 Kubernetes）集成，但也可以作为独立集群运行。Flink 旨在以任意规模运行有状态流式应用程序。应用程序可以并行化为数千个在集群中分布和同时执行的任务。因此，应用程序可以利用几乎无限量的 CPU，内存，磁盘和网络 IO。Flink 应用程序基于状态进行处理，针对本地状态访问进行了优化（图 2-2）。任务状态始终驻留在内存中，或者，如果状态大小超过可用内存，则通过数据结构使用可访问高效的磁盘记录状态。因此，任务通过访问本地（通常是内存中）状态来执行所有计算，从而产生非常低的处理延迟。Flink 通过定期和异步检查点将本地状态到持久存储来保证在出现故障时的精确一次的状态一致性。
哈尔滨工业大学工程硕士学位论文该客户端（Client）是不运行时和程序执行的一部分，而是被用来准备和发送的数据流的 JobManager。之后，客户端可以断开连接或保持连接以接收进度报告。客户端既可以作为触发执行的 Java / Scala 程序的一部分运行，也可以在命令行进程中运行。
【参考文献】：
期刊论文
[1]2018经济大盘点[J]. 华君. 检察风云. 2018(24)
[2]警惕股权质押演变为系统性风险[J]. 韩复龄. 大众理财顾问. 2018(11)
[3]数据挖掘技术在通信行业审计工作中的应用[J]. 敬智勇. 中国内部审计. 2018(08)
[4]基于Flink平台的应用研究[J]. 蔡鲲鹏. 现代工业经济和信息化. 2017(02)
[5]大数据量多进程环境下生产者消费者模式实现研究[J]. 陈勇. 电脑编程技巧与维护. 2015(24)
[6]基于发布/订阅的推模式服务调用[J]. 刘军霞,熊选东,付建丹. 计算机系统应用. 2012(12)
[7]多种单位根检验法的比较研究[J]. 房林,邹卫星. 数量经济技术经济研究. 2007(01)
[8]具有AR（1）误差的非线性随机效应模型中自相关系数的扰动诊断[J]. 杨爱军,林金官,韦博成. 应用数学. 2006(04)
[9]离群数据挖掘综述[J]. 黄洪宇,林甲祥,陈崇成,樊明辉. 计算机应用研究. 2006(08)
[10]异常检测算法分析[J]. 李炎,李皓,钱肖鲁,朱扬勇. 计算机工程. 2002(06)
博士论文
[1]中国证券市场风险防范研究[D]. 国家.辽宁大学 2016
硕士论文
[1]基于SparkStreaming的网络资源管理系统设计与实现[D]. 黄哲.南京邮电大学 2018
[2]基于Bayesian Network系统状态异常检测算法研究与实现[D]. 于永跃.大连理工大学 2018
[3]基于数据挖掘的动环监控系统告警相关性研究[D]. 贾海涛.北京交通大学 2018
[4]中国资产证券化政府监管对策研究[D]. 于佳卉.辽宁师范大学 2018
[5]基于MapReduce的医学数据并行聚类算法研究[D]. 肖锦波.湖南大学 2016
[6]基于MyCAT的分布式数据存储研究与应用[D]. 王葱.东华大学 2016
[7]基于数据挖掘技术的证券交易异常行为检测研究与实现[D]. 谢闻博.北京邮电大学 2016
[8]基于流计算的推荐系统设计与实现[D]. 陈俊安.南京邮电大学 2015
[9]面向数据处理的流计算关键技术研究[D]. 于悦.南京邮电大学 2013
[10]面向不确定感知数据的异常数据检测技术[D]. 王斌.东北大学 2009
本文编号：3385011
【文章来源】：哈尔滨工业大学黑龙江省 211工程院校 985工程院校
【文章页数】：90 页
【学位级别】：硕士
【部分图文】：
流架构处理图
Apache Flink[31]是一个用于对无边界和有边界数据流进行有状态计算的框架和分布式处理引擎。Flink 设计为运行在所有常见的集群环境中，并且以内存速度和任意规模执行计算。Apache Flink 擅长处理无边界和有边界数据集。在事件和状态上的精确控制使得 Flink 运行时能在无边界流上运行任意类型的应用程序。有界流由算法和数据结构内部处理，这些算法和数据结构专门针对固定大小的数据集而设计，从而获得优秀的性能。Flink 可与所有常见的集群资源管理器（如 Hadoop YARN，Apache Mesos 和 Kubernetes）集成，但也可以作为独立集群运行。Flink 旨在以任意规模运行有状态流式应用程序。应用程序可以并行化为数千个在集群中分布和同时执行的任务。因此，应用程序可以利用几乎无限量的 CPU，内存，磁盘和网络 IO。Flink 应用程序基于状态进行处理，针对本地状态访问进行了优化（图 2-2）。任务状态始终驻留在内存中，或者，如果状态大小超过可用内存，则通过数据结构使用可访问高效的磁盘记录状态。因此，任务通过访问本地（通常是内存中）状态来执行所有计算，从而产生非常低的处理延迟。Flink 通过定期和异步检查点将本地状态到持久存储来保证在出现故障时的精确一次的状态一致性。
哈尔滨工业大学工程硕士学位论文该客户端（Client）是不运行时和程序执行的一部分，而是被用来准备和发送的数据流的 JobManager。之后，客户端可以断开连接或保持连接以接收进度报告。客户端既可以作为触发执行的 Java / Scala 程序的一部分运行，也可以在命令行进程中运行。
【参考文献】：
期刊论文
[1]2018经济大盘点[J]. 华君. 检察风云. 2018(24)
[2]警惕股权质押演变为系统性风险[J]. 韩复龄. 大众理财顾问. 2018(11)
[3]数据挖掘技术在通信行业审计工作中的应用[J]. 敬智勇. 中国内部审计. 2018(08)
[4]基于Flink平台的应用研究[J]. 蔡鲲鹏. 现代工业经济和信息化. 2017(02)
[5]大数据量多进程环境下生产者消费者模式实现研究[J]. 陈勇. 电脑编程技巧与维护. 2015(24)
[6]基于发布/订阅的推模式服务调用[J]. 刘军霞,熊选东,付建丹. 计算机系统应用. 2012(12)
[7]多种单位根检验法的比较研究[J]. 房林,邹卫星. 数量经济技术经济研究. 2007(01)
[8]具有AR（1）误差的非线性随机效应模型中自相关系数的扰动诊断[J]. 杨爱军,林金官,韦博成. 应用数学. 2006(04)
[9]离群数据挖掘综述[J]. 黄洪宇,林甲祥,陈崇成,樊明辉. 计算机应用研究. 2006(08)
[10]异常检测算法分析[J]. 李炎,李皓,钱肖鲁,朱扬勇. 计算机工程. 2002(06)
博士论文
[1]中国证券市场风险防范研究[D]. 国家.辽宁大学 2016
硕士论文
[1]基于SparkStreaming的网络资源管理系统设计与实现[D]. 黄哲.南京邮电大学 2018
[2]基于Bayesian Network系统状态异常检测算法研究与实现[D]. 于永跃.大连理工大学 2018
[3]基于数据挖掘的动环监控系统告警相关性研究[D]. 贾海涛.北京交通大学 2018
[4]中国资产证券化政府监管对策研究[D]. 于佳卉.辽宁师范大学 2018
[5]基于MapReduce的医学数据并行聚类算法研究[D]. 肖锦波.湖南大学 2016
[6]基于MyCAT的分布式数据存储研究与应用[D]. 王葱.东华大学 2016
[7]基于数据挖掘技术的证券交易异常行为检测研究与实现[D]. 谢闻博.北京邮电大学 2016
[8]基于流计算的推荐系统设计与实现[D]. 陈俊安.南京邮电大学 2015
[9]面向数据处理的流计算关键技术研究[D]. 于悦.南京邮电大学 2013
[10]面向不确定感知数据的异常数据检测技术[D]. 王斌.东北大学 2009
本文编号：3385011
本文链接：https://www.wllwen.com/jingjilunwen/jinrongzhengquanlunwen/3385011.html
