基于注意力机制的股票预测分析

发布时间：2021-06-11 14:19

　　在统计和金融交叉的应用领域中,股票市场是一个变量上数量和关系都错综复杂的非线性系统,如何能够准确地预测其未来的价格变化是非常值得研究的方向。传统的统计学习方法在实际应用中很难处理这么错综复杂的关系,很难准确地提取股票数据蕴含地数据,随着计算机硬件和深度学习地相互发展,越来越多的深度学习方法被使用在股票市场预测中来。本文的研究内容主要在于如何在股票市场的预测中使用深度学习的技术得到更为准确的结果。近几年,注意力机制在NLP领域中已经获得了很大的成功,也带动了很多在时间序列预测方面的应用。由于股票数据中充斥着大量的噪声,并且变量之间的关系也很复杂,基于这一性质,本文提出了一个基于注意力机制的模型来预测股票价格,构建了基于长短期记忆神经网络的编码器-解码器结构,使用长短期记忆神经网络和注意力机制来提取股票市场的历史数据中的信息,并且在编码器部分加入了两阶段的注意力机制,可以分别从横向和纵向可以更好地捕捉数据的隐藏状态相互之间的关系,可以更准确的提取股票历史数据中的内在信息,并在解码器加入了一个注意力机制,以此来对未来的股票波动变化趋势进行预测,通过实验对比,改进模型的准确率进一步提升,通过对... 

【文章来源】：兰州大学甘肃省 211工程院校 985工程院校 教育部直属院校

【文章页数】：46 页

【学位级别】：硕士

【部分图文】：

RNN的结构

兰州大学硕士学位论文基于注意力机制的股票预测分析图2-2LSTM细胞结构遗忘门：在我们的LSTM中的第一步是通过使用遗忘门这一结构选择对于输入进来的信息，我们需要遗忘哪些信息然后再继续向下传播。对于时间t的神经细胞单元，该门会读取前一个时刻的隐藏状态1和时间t的输入，然后经过一个函数输出一个在0到1之间的数值给前一个时刻的细胞状态1，表示细胞状态1中的哪些信息需要被遗忘和哪些信息会继续传播下去。1表示全部的信息都将向下传播，0表示所有的信息都被遗忘不继续向下传播。LSTM经过学习确定网络需要丢弃和储存上一个状态百分之多少的信息继续向前传播。遗忘门的计算公式为：=(·[1,]+).其中，为权重矩阵，为偏置项，为Sigmoid函数。输入门：LSTM通过这个门来决定新的输入信息有哪些会输入到当前t时刻的神经细胞单元里，这个门是使用一个函数来决定新的信息中有哪些会被保留和舍弃。=(·[1,]+).=(·[1,]+).在使用了前面的两个门后，我们就知道该如何更新当前的细胞单元的信息状态了。更新方式为：=*1+*.11

兰州大学硕士学位论文基于注意力机制的股票预测分析图2-3Google的Attention翻译器结构Encoder：这里的编码器结构是由几个独立的结构构成的，每个结构里边都包含两层结构。输入数据进入第一个结构是一个多头注意力结构，然后再经过下一个结构是一个前向传播的神经网络，将得到的结果向前传播。Decoder：解码器也是由几个独立的结构组成。但是和编码器不同的一点，就是解码器不同于编码器是两个结构，它用了三个结构，用于对从编码器得到的信息做多头注意力机制，不同的那个结构实在多头注意力机制上加了一个Masked，这是为了很好的保存和学习序列的顺序信息。可以看出，这个结构完全没用神经网络来进行编码和解码，而是只用了几个注意力结构拼接组合，得到了非常好的效果。14

【参考文献】：
期刊论文
[1]金融时间序列的数据挖掘技术与经典统计模型的比较[J]. 胡桔州,兰秋军.  系统工程. 2005(06)



本文编号：3224700