大数据环境下时间序列数据流的实时解释与优化研究
发布时间：2020-06-13 09:19
【摘要】：在期货程序化交易环境中,期货时间序列数据流是从期货交易中的不同商品合约获取的价格信息等数据,该数据随着时间的变化不断更新,其特征是数据量大、具有高纬度且随着时间不断变化。如何在程序化交易的过程中对海量历史数据和实时的数据流进行数据处理,然后结合用户编写的交易模型或交易策略,对其进行实时的解释,帮助交易者完成触发,进行交易,从而获取利益,在学术界和商业界进行了广泛的研究和讨论。针对该问题,本文提出了时间序列数据流的实时解释模型,该模型总体分为三部分:数据采集模块、实时处理模块以及解释器模块。本文的主要研究如下:第一,在数据采集模块中,针对传统的数据库对海量历史数据和实时的时间序列数据流的存储性能不高的问题,结合目前Hadoop分布式存储系统的优势,提出了一种基于Hadoop云平台的海量数据的存储方式。使用HBase数据库存储数据,同时使用Flume框架实时采集各个节点的数据,然后进入Kafka的消息队列对其进行消息的订阅和分发,进入下一阶段的处理。第二,在实时处理模块中,使用数据挖掘中的传统的关联规则Apriori算法,并结合Hadoop云框架的批量处理MapReduce框架,提出了 ARTMMR算法,流水线技术的应用使得该算法更加符合实时的处理环境,实验结果表明了上述算法的良好性能。第三,在解释器模块中,考虑到程序化交易系统使用类C语言作为其模型描述语言成为主流,结合期货程序化交易的特点,开发了一种基于MVC模式的解释器。该解释器对用户编写的交易策略和模型能够实时的进行解释,并返回相应的性能报告,帮助交易者优化模型,快速交易,获取收益。同时,多线程技术使得交易者可以同时登陆不同的账户对多种合约进行买卖交易行为,增加了交易的机会。
【图文】：
第一章绪论逡逑略或者合约公式交由计算机进行实时的解释，解释成由计算机能够识别的计算机逡逑语言［４］。图１．１显示了交易过程：逡逑海里数据邋１逦逡逑５开究模型逦缩辑交易模型（程序化模型插述语言）逡逑１邋，，邋１邋１逡逑分析模型逦Ａ＿植型逦风险植型逦交易成本植型逡逑＿邋丨丫逦Ｌ＿Ｌ逡逑力嗷交易模型且实时解懰逡逑信号逦逦逦逦逡逑逦ｒ逦逡逑lM行交易逦lM行交易j熜湾义辖灰缀蠓终坼五五义贤迹保背绦蚧灰坠体义希疲椋珏澹保卞澹裕瑁邋澹穑颍铮悖澹螅箦澹铮驽澹簦瑁邋澹穑颍铮纾颍幔礤澹簦颍幔洌椋睿珏义嫌赏迹椋榭芍灰坠讨饕牵菏紫龋诮灰字埃莩绦蚧灰资谐″义系牟欢媳浠龆ㄍ蹲实姆绞剑幼叛≡裢蹲式灰椎纳唐泛显贾掷嗪褪浚蒎义涎≡竦纳唐泛显嫉牟欢媳浠魇埔约笆谐〉谋浠嘈春鲜实慕灰撞呗曰蚰Ｐ停义先缓笱∪〗灰咨唐返氖拷薪灰祝灰啄Ｐ突虿呗越挥杉扑慊写怼ｅ义显诮灰字埃紫纫允谐∫约吧唐方蟹治觯饕峭ü嘤Φ男星槭蒎义弦约捌诨跬ㄑ抖猿绦蚧灰啄Ｐ推拦馈Ｔ诮灰坠讨校饕褂梅缦漳Ｐ投圆斡脲义掀诨踅灰缀显嫉姆缦盏燃督邢嘤Φ钠拦
本文编号：2710962
【图文】：
第一章绪论逡逑略或者合约公式交由计算机进行实时的解释，解释成由计算机能够识别的计算机逡逑语言［４］。图１．１显示了交易过程：逡逑海里数据邋１逦逡逑５开究模型逦缩辑交易模型（程序化模型插述语言）逡逑１邋，，邋１邋１逡逑分析模型逦Ａ＿植型逦风险植型逦交易成本植型逡逑＿邋丨丫逦Ｌ＿Ｌ逡逑力嗷交易模型且实时解懰逡逑信号逦逦逦逦逡逑逦ｒ逦逡逑lM行交易逦lM行交易j熜湾义辖灰缀蠓终坼五五义贤迹保背绦蚧灰坠体义希疲椋珏澹保卞澹裕瑁邋澹穑颍铮悖澹螅箦澹铮驽澹簦瑁邋澹穑颍铮纾颍幔礤澹簦颍幔洌椋睿珏义嫌赏迹椋榭芍灰坠讨饕牵菏紫龋诮灰字埃莩绦蚧灰资谐″义系牟欢媳浠龆ㄍ蹲实姆绞剑幼叛≡裢蹲式灰椎纳唐泛显贾掷嗪褪浚蒎义涎≡竦纳唐泛显嫉牟欢媳浠魇埔约笆谐〉谋浠嘈春鲜实慕灰撞呗曰蚰Ｐ停义先缓笱∪〗灰咨唐返氖拷薪灰祝灰啄Ｐ突虿呗越挥杉扑慊写怼ｅ义显诮灰字埃紫纫允谐∫约吧唐方蟹治觯饕峭ü嘤Φ男星槭蒎义弦约捌诨跬ㄑ抖猿绦蚧灰啄Ｐ推拦馈Ｔ诮灰坠讨校饕褂梅缦漳Ｐ投圆斡脲义掀诨踅灰缀显嫉姆缦盏燃督邢嘤Φ钠拦
本文编号：2710962
本文链接：https://www.wllwen.com/jingjilunwen/qihuoqq/2710962.html
