基于注意力机制的神经网络预测模型

发布时间：2021-06-24 03:06

　　对股票价格的准确预测一方面有助于决策者判断当前的经济形势,另一方面有助于投资者获取收益。但是对股票价格进行准确预测是非常困难的,因为股票价格是非平稳、非线性且随机游走的时间序列,难以用传统的时间序列模型拟合。随着神经网络的快速发展,神经网络强大的学习能力使其在很多领域都大放异彩,很多学者研发出各种神经网络模型用于股票市场的预测,包括多层感知机模型、卷积神经网络模型以及专门预测时间序列的递归神经网络模型等等,但是这些模型存在特征提取困难、预测精度较低和解释力较弱等问题。为了解决这些问题,本文将注意力机制引入递归神经网络模型,注意力机制可以给各时间维度的信息赋予不同权重,区分不同信息对预测的重要程度,从而提升递归网络模型的可解释性和预测精度。在实证部分,本文分别构造了多层感知机模型、卷积神经网络模型、循环神经网络模型、长短期记忆神经网络模型、门控循环单元网络模型、基于注意力机制的循环神经网络模型、基于注意力机制的长短期记忆神经网络模型和基于注意力机制的门控循环单元神经网络模型,针对上证综指做收盘价的预测,并在不同的参数条件下做了大量的对比试验,一方面探究注意力机制对神经网络模型预测性能的影... 

【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校

【文章页数】：59 页

【学位级别】：硕士

【部分图文】：

图１多层感知机结构??如图１所示，输入层与隐含层之间、隐含层与隐含层之间、隐含层与输出??层之间是全连接的，即上一层的所有神经元均与下一层的所有神经元连接

图６局部连接和权值共享??

?第３章模型介绍???图６局部连接和权值共享??池化层也称为下采样层，其目的主要是保留显著特征、特征降维、数据压??缩、减少过拟合和提高模型的容错性。最大池化和均值池化是最为常见的池化??过程，最大池化是指将局部区域内的最大值当作最终的输出值，均值池化是指??计算局部区域内所有值的平均值当作最终的输出值，ｆｅａｔｕｒｅ?ｍａｐ池化后得到的??矩阵称为ｐｏｏｌ?ｍａｐ。池化层有三个特征：首先使得ｆｅａｔｕｒｅ?ｍａｐ降维，降低了网络??计算的复杂度；其次池化层不会对权值进行更新，即池化过程不会增加额外的??运算量；最后池化单元具有平移不变性，输入数据发生微小偏差时，池化仍会??返回相同的结果，以此提升鲁棒性和精度。??ａｘ?ａ２?ｂ１?ｂ２?最大池化?一，??Ｉ???ｍａｘ??＾３?ａ４?＾３??Ｘ???ｃｉ?ｃ２?ｄ２?二“ｒ“＞????均值池化?Ｋ????卜４?Ｉ?ｄ３?Ｉ?ｄ４?｜?丨?―??图７最大池化和均值池化??３．２．１卷积神经网络的前向传导??假设有２个卷积层和２个池化层，卷积层的输入是３０Ｘ３０的矩阵Ｍ，卷??积核是３Ｘ３的矩阵，卷积核的数量为Ｋ个，池化窗口为２Ｘ２。??在第一个卷积层，输入矩阵经过卷积核的卷积生成Ｋ个２８Ｘ２８大小的??ｆｅａｔｕｒｅ?ｍａｐｓ：??１８??

【参考文献】：
期刊论文
[1]基于多粒度时间注意力RNN的航班客座率预测[J]. 邓玉婧,武志昊,林友芳.  计算机工程. 2020(01)
[2]GRU递归神经网络对股票收盘价的预测研究[J]. 黎镭,陈蔼祥,李伟书,梁伟琪,杨思桐.  计算机与现代化. 2018(11)
[3]基于分类的中文文本摘要方法[J]. 庞超,尹传环.  计算机科学. 2018(01)
[4]基于注意力机制的LSTM的语义关系抽取[J]. 王红,史金钏,张志伟.  计算机应用研究. 2018(05)
[5]时间序列模型和神经网络模型在股票预测中的分析[J]. 刘海玥,白艳萍.  数学的实践与认识. 2011(04)



本文编号：3246232