基于实时分布式计算的股票预测系统的设计与实现

发布时间：2020-07-19 22:55

【摘要】：以Flink为代表的流数据处理引擎在实时性要求高的应用场景被广泛使用,正在成为继Hadoop、Spark后的第三代大数据处理引擎。随着信息化时代相关技术的发展,将大数据分布式计算、数据科学应用于经济领域成为研究热点,股票价格作为国家经济、企业前景的晴雨表,对于它的预测一直是热门话题。然而目前存在的问题是,现在的股票预测产品大都是无法做到完全的实时性,使得计算结果的业务价值随着时间的增长而下降,从而使错过决策的最佳时机。为了解决上述缺陷,作者的论文基于对分布式架构以及实时计算的研究,设计了实时大数据场景下的文件入Kafka,静态数据附加,预测,入库四大相关组件,实现基于实时分布式计算的股票预测系统,证明了该系统具有稳定地对外提供短期预测的能力。具体地,本文做了以下工作:首先,本文从交易原始数据角度出发,实践了通过流水线方式处理建立的实时加工处理系统。其次,开发一套适用于金融领域的高可用序列化组件。接着,提供利用堆外内存建立K-V型的数据仓库的方法。然后,使用Flink作为实时计算的框架,通过窗口聚合来获取单位时间内的消息;在短期股票预测场景中,使用已经存在并且实践效果较好的逻辑回归算法实现离散值预测功能,自回归-移动平均模型实现连续值预测的功能。最后,在该系统之上,总结出通用的测量流水线上系统的吞吐和时延的方案,并总结出基于JVM程序性能调优的方案。在测试方面,从分布式架构给出测试用例,除了保证功能性测试通过之外,还将系统置于异常场景下测试,确保系统高可用方案的可行性,保证了系统一定程度上的容错性,同时,使用科学的方法精确地测量并优化了系统的时延和吞吐。本系统在实际的测试过程中,对于短期投资者量化投资场景给出了解决方案,为投资者下一步决策提供数据支持;对于证券交易市场监察部门提供一种从股价分析制定告警规则的方法;同时为自动化交易平台提供实时交易的启发式的解决方案。
【学位授予单位】：哈尔滨工业大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：F832.51;TP311.52
【图文】：

消息,机器,处理系统

据的一种抽象。ime[28]该消息发生时，该生成消息机器的系统始化就不会改变。singTime[28]指消息进入到处理系统之后被所在计算gTime 是不断变化的，随着它所处的阶如果处理消息的机器与生产消息的机器于 EventTime 的。atermark的 ProcessingTime 与 EventTime 存在 Watermark 去衡量二种时间的关系，W间的消息已经被系统处理，从 EventT

固定窗,滑动窗口,映射关系,消息

聚合个标识，与消息的某些属性存在映射关系，大部分样的窗口也叫时间窗口。统的消息格式为三元组 T<key，value，time>，存在dowID=M(T) 所有消息的通过映射关系找到自己所属护一个字典：N:<WindowID,{T| WindowID=M(T)}>indowID，值为通过映射关系 M 计算得到的结果为 W。窗口与滑动窗口2 所示，固定窗口的大小是固定的，假设窗口是时间时间长度是固定的，并且同时每个窗口互不交叠，口中。的时间由窗口时间与滑动时间构成，两个时间都是意味着消息可以同时存在于多个不同的窗口中。

批处理系统

图 2-3 批处理系统的窗口聚合[24]图 2-3，12:00 至 12:08 内产生的数据在 12:09 时刻内统一处理ark 是一条直线，意味着批处理应用中先产生的数据只能等待数据到达才能计算。批处理过程中的窗口计算中每当 Watermar界时触发窗口聚合，但是各个窗口的累加计算基本是同时在始，计算的时间集中在比较短的时间内。微批处理的 Window 操作

【参考文献】