基于Attention机制的GRU股票预测模型
发布时间：2021-01-02 22:31
股市行情随众多影响因子不断变化,现有基于时间序列预测的方法难以捕捉该非线性动力系统的复杂变化规律,预测效果并不理想。本文提出基于Attention机制的GRU预测模型,捕捉关键时间点特征信息以解决对时间特征不敏感导致预测精度不高的问题以提升预测精确度。首先使用LSTM和GRU构建基础预测模型;然后对输入特征进行统计处理和筛选,选取更能反映股价变动规律的特征;最后基于编码器-解码器框架,在GRU模型上加入Attention机制,使模型聚焦于重要时间点的股票特征信息。本文在科大讯飞股票数据上进行实验,实验结果表明基于Attention机制的GRU模型在MAPE,RMSE,R2 score三个评价指标上均优于其他模型,Attention机制能够捕捉重要时间点局部特征,对预测模型的优化是可行和有效的。
【文章来源】：系统工程. 2020年05期 北大核心CSSCI
【文章页数】：7 页
【部分图文】：
图２数据集构造??４模型优化??
会有较大的影响。??传统的递归神经网络对所有时间点的输人值都赋予??相同的权重，即认为其影响度是相同的。八ｔｔｅｎｔｉｏｎ机制??可以很好地给不同位置的特征赋予不同的注意力权重，从??而捕捉到不同时间的特征影响度。本文基于Ａｔｔｅｎｔｉｏｎ机??制优化模型，基于评分函数计算每个时间点对预测值的影??响程度大小，为每个时间点赋予对应权值，使得模型聚焦??于重要时间点输人。此外Ａｔｔｅｎｔｉｏｎ机制可以处理更长的??时间序列，避免了较长时间间隔导致的信息损失。所构建??模型的架构如图３所示。??（：⑷⑷⑷……（０??图３模型架构图??基于编码器一解码器框架构建预测模型。先将时间??序列（Ｕ２…，输人编码器（Ｅｎｃｏｄｅｒ）内进行编??码，获得中间隐藏层编码向量（／＾，，／ｉ．５，…，）。然后??通过Ａｔｔｅｎｔｉｏｎ层对编码向量处理，得到每个编码向量对??应的权值（ａ＾，ａ２，ａ３，…，ａ？?）。用计算的权值对中间隐藏??层编码向量进行加权作为解码器（Ｄｅｃｏｄｅｒ）的输人，最后??通过解码器得到模型的预测值编码器和解码器均基??于ＧＲＵ模型实现，得到的中间隐藏层编码向量即ＧＲＵ??模型中间隐藏层的输出。每个时间点的编码向量还结合??了该时间点以前的股价特征，即考虑了上下文来编码当前??时刻信息。八ｔｔｅｎｔｉｏｎ层用于决定不同时间点输人的重要??程度，通过评分函数衡量这种重要度并将其量化，图４说??明了注意力权值的计算过程。??用Ｅｎｃｏｄｅｒ最后一个时刻的隐藏层输出与其他每??个时刻的隐藏层输出Ｉ比较，通过函数Ｓｃｏｒｅ?ｄ，Ａｎ?）获??取其相似度＆，最后经过Ｓｏｆｔｍａｘ得到每个时间点的注意??力
层对编码向量处理，得到每个编码向量对??应的权值（ａ＾，ａ２，ａ３，…，ａ？?）。用计算的权值对中间隐藏??层编码向量进行加权作为解码器（Ｄｅｃｏｄｅｒ）的输人，最后??通过解码器得到模型的预测值编码器和解码器均基??于ＧＲＵ模型实现，得到的中间隐藏层编码向量即ＧＲＵ??模型中间隐藏层的输出。每个时间点的编码向量还结合??了该时间点以前的股价特征，即考虑了上下文来编码当前??时刻信息。八ｔｔｅｎｔｉｏｎ层用于决定不同时间点输人的重要??程度，通过评分函数衡量这种重要度并将其量化，图４说??明了注意力权值的计算过程。??用Ｅｎｃｏｄｅｒ最后一个时刻的隐藏层输出与其他每??个时刻的隐藏层输出Ｉ比较，通过函数Ｓｃｏｒｅ?ｄ，Ａｎ?）获??取其相似度＆，最后经过Ｓｏｆｔｍａｘ得到每个时间点的注意??力权值。函数，／ｉ？?）采用加性注意力的方法，通过??一个多层感知机实现，如式（６）所示。??ｓｃｏｒｃ（Ａｚ－）?＝?ｒｃｌｕ（Ｗ［／ｉｊ?；／ｉｚ?］?＋?６）?（６．）??这里，Ｗ是参数矩阵，６是偏置。本文构建的模型与传统??八ｔｔｅｎｔｉｏｎ机制的用法不同，传统Ａｔｔｅｎｔｉｏｎ机制计算得出??权值后计算中间编码向量的加权和，作为解码器输人。??本文将加权后的中间编码向量序列作为新的输人，经过??Ｄｅｃｏｄｅｒ得到预测结果。??图４?Ａｔｔｒｉｔｉｏｎ权值计算过程??５实验结果和分析??本节介绍了实验设置，模型评价指标，最后对实验结??果进行分析。??５．１实验设置??利用科大讯飞（００２２３０）的历史股票数据作为数据集，??对模型进行实验分析。以天为单位收集科大讯飞近３年??股票历史行情数据，从２０１６年
【参考文献】：
期刊论文
[1]基于人工智能的证券金融服务创新研究[J]. 程娟,周雄伟. 金融科技时代. 2018(10)
[2]基于BP神经网络构建的分类器模型财务分析领域的应用[J]. 程书强,罗娟,王念东. 自动化与仪器仪表. 2018(01)
[3]基于灰色GARCH模型和BP神经网络的股票价格预测[J]. 曹晓,孙红兵. 软件. 2017(11)
[4]基于微博信息的股票交易预测研究[J]. 胡婧,叶建木. 财政监督. 2017(05)
[5]基于自适应遗传算法优化的BP神经网络股票价格预测[J]. 郝继升,任浩然,井文红. 河南科学. 2017(02)
[6]BP神经网络在股票指数预测中的应用[J]. 黄宏运,吴礼斌,李诗争. 通化师范学院学报. 2016(10)
[7]移动平均线分析法及其交易策略研究[J]. 陈标金,陈文杰. 商业研究. 2015(07)
[8]基于模糊K线序列比对的股市技术分析模型[J]. 徐信喆. 计算机应用与软件. 2010(09)
[9]基于支持向量机的股票预测[J]. 张晨希,张燕平,张迎春,陈洁,万忠. 计算机技术与发展. 2006(06)
[10]股票价格指数的投资功能[J]. 刘长虎,陶建格,崔衍秋. 市场论坛. 2004(06)
本文编号：2953765
【文章来源】：系统工程. 2020年05期 北大核心CSSCI
【文章页数】：7 页
【部分图文】：
图２数据集构造??４模型优化??
会有较大的影响。??传统的递归神经网络对所有时间点的输人值都赋予??相同的权重，即认为其影响度是相同的。八ｔｔｅｎｔｉｏｎ机制??可以很好地给不同位置的特征赋予不同的注意力权重，从??而捕捉到不同时间的特征影响度。本文基于Ａｔｔｅｎｔｉｏｎ机??制优化模型，基于评分函数计算每个时间点对预测值的影??响程度大小，为每个时间点赋予对应权值，使得模型聚焦??于重要时间点输人。此外Ａｔｔｅｎｔｉｏｎ机制可以处理更长的??时间序列，避免了较长时间间隔导致的信息损失。所构建??模型的架构如图３所示。??（：⑷⑷⑷……（０??图３模型架构图??基于编码器一解码器框架构建预测模型。先将时间??序列（Ｕ２…，输人编码器（Ｅｎｃｏｄｅｒ）内进行编??码，获得中间隐藏层编码向量（／＾，，／ｉ．５，…，）。然后??通过Ａｔｔｅｎｔｉｏｎ层对编码向量处理，得到每个编码向量对??应的权值（ａ＾，ａ２，ａ３，…，ａ？?）。用计算的权值对中间隐藏??层编码向量进行加权作为解码器（Ｄｅｃｏｄｅｒ）的输人，最后??通过解码器得到模型的预测值编码器和解码器均基??于ＧＲＵ模型实现，得到的中间隐藏层编码向量即ＧＲＵ??模型中间隐藏层的输出。每个时间点的编码向量还结合??了该时间点以前的股价特征，即考虑了上下文来编码当前??时刻信息。八ｔｔｅｎｔｉｏｎ层用于决定不同时间点输人的重要??程度，通过评分函数衡量这种重要度并将其量化，图４说??明了注意力权值的计算过程。??用Ｅｎｃｏｄｅｒ最后一个时刻的隐藏层输出与其他每??个时刻的隐藏层输出Ｉ比较，通过函数Ｓｃｏｒｅ?ｄ，Ａｎ?）获??取其相似度＆，最后经过Ｓｏｆｔｍａｘ得到每个时间点的注意??力
层对编码向量处理，得到每个编码向量对??应的权值（ａ＾，ａ２，ａ３，…，ａ？?）。用计算的权值对中间隐藏??层编码向量进行加权作为解码器（Ｄｅｃｏｄｅｒ）的输人，最后??通过解码器得到模型的预测值编码器和解码器均基??于ＧＲＵ模型实现，得到的中间隐藏层编码向量即ＧＲＵ??模型中间隐藏层的输出。每个时间点的编码向量还结合??了该时间点以前的股价特征，即考虑了上下文来编码当前??时刻信息。八ｔｔｅｎｔｉｏｎ层用于决定不同时间点输人的重要??程度，通过评分函数衡量这种重要度并将其量化，图４说??明了注意力权值的计算过程。??用Ｅｎｃｏｄｅｒ最后一个时刻的隐藏层输出与其他每??个时刻的隐藏层输出Ｉ比较，通过函数Ｓｃｏｒｅ?ｄ，Ａｎ?）获??取其相似度＆，最后经过Ｓｏｆｔｍａｘ得到每个时间点的注意??力权值。函数，／ｉ？?）采用加性注意力的方法，通过??一个多层感知机实现，如式（６）所示。??ｓｃｏｒｃ（Ａｚ－）?＝?ｒｃｌｕ（Ｗ［／ｉｊ?；／ｉｚ?］?＋?６）?（６．）??这里，Ｗ是参数矩阵，６是偏置。本文构建的模型与传统??八ｔｔｅｎｔｉｏｎ机制的用法不同，传统Ａｔｔｅｎｔｉｏｎ机制计算得出??权值后计算中间编码向量的加权和，作为解码器输人。??本文将加权后的中间编码向量序列作为新的输人，经过??Ｄｅｃｏｄｅｒ得到预测结果。??图４?Ａｔｔｒｉｔｉｏｎ权值计算过程??５实验结果和分析??本节介绍了实验设置，模型评价指标，最后对实验结??果进行分析。??５．１实验设置??利用科大讯飞（００２２３０）的历史股票数据作为数据集，??对模型进行实验分析。以天为单位收集科大讯飞近３年??股票历史行情数据，从２０１６年
【参考文献】：
期刊论文
[1]基于人工智能的证券金融服务创新研究[J]. 程娟,周雄伟. 金融科技时代. 2018(10)
[2]基于BP神经网络构建的分类器模型财务分析领域的应用[J]. 程书强,罗娟,王念东. 自动化与仪器仪表. 2018(01)
[3]基于灰色GARCH模型和BP神经网络的股票价格预测[J]. 曹晓,孙红兵. 软件. 2017(11)
[4]基于微博信息的股票交易预测研究[J]. 胡婧,叶建木. 财政监督. 2017(05)
[5]基于自适应遗传算法优化的BP神经网络股票价格预测[J]. 郝继升,任浩然,井文红. 河南科学. 2017(02)
[6]BP神经网络在股票指数预测中的应用[J]. 黄宏运,吴礼斌,李诗争. 通化师范学院学报. 2016(10)
[7]移动平均线分析法及其交易策略研究[J]. 陈标金,陈文杰. 商业研究. 2015(07)
[8]基于模糊K线序列比对的股市技术分析模型[J]. 徐信喆. 计算机应用与软件. 2010(09)
[9]基于支持向量机的股票预测[J]. 张晨希,张燕平,张迎春,陈洁,万忠. 计算机技术与发展. 2006(06)
[10]股票价格指数的投资功能[J]. 刘长虎,陶建格,崔衍秋. 市场论坛. 2004(06)
本文编号：2953765
本文链接：https://www.wllwen.com/jingjilunwen/jinrongzhengquanlunwen/2953765.html
