深度学习长短期记忆算法和Monte Carlo方法的分析及应用

发布时间：2020-07-22 04:36

【摘要】：近年来数字化进程发展迅猛,将各类信息数据化,能更好的发现其本质特点和变化规律。时间序列数据便是一类具有代表性的数据,对于大部分实际数据来说,由于所受影响因素众多,其往往是非线性的时间序列数据,所以对于非线性时间序列的预测问题的分析和研究是十分重要的。本文对Monte Carlo方法和长短期记忆算法进行了探讨和分析,对实验数据进行清理,并根据长短期记忆算法建立了一种预测非线性时间序列数据的模型,依据Monte Carlo方法的原理设置了预测效果的度量标准。首先,对Monte Carlo方法和长短期记忆算法的原理和优缺点进行探究,并对有监督机器学习中的过拟合问题产生的原因和相应解决办法通过结合实例的方式进行总结和分析。其次,对收集到的人口数据和股票数据进行预处理(异常数据的删除和填补、归一化),并结合平安银行股票数据的实例来展示数据清理过程中异常数据的处理方式,初步确定预测算法的Keras框架结构,并依据Monte Carlo方法的原理设定预测准确率的计算方式。最后,以一组随机生成的服从正弦分布的数据点来测试算法框架的实际预测效果。并对清理后的哈尔滨市历年人口数据应用不同结构的算法进行预测,通过对比不同结构的算法框架的预测效果来确定最终长短期记忆算法的框架结构,并对东风汽车股票和平安银行股票的5个特征数据进行预测分析和准确率的计算。本文的实证分析选取了2002年到2018年平安银行股票和东风汽车股票的每日数据,实证结果表明:结合了长短期记忆算法和Monte Carlo方法的预测框架,对于非线性的时间序列数据的预测有较好的效果,能够很好的学习数据的整体变化趋势和细节特征;通过Monte Carlo方法的原理来设置并计算的准确率,更加贴近数据的实际预测效果,有利于对算法框架内部参数进行调节。
【学位授予单位】：哈尔滨工业大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：F832.51;F224
【图文】：

示意图,算法结构,示意图,算法

哈尔滨工业大学应用统计硕士专业学位论文的随机，其得到随机序列其实是具有一定周期的伪随机数Monte Carlo 方法的原理来设置实验预测的准确度，从而得ulli 大数定律：limn→∞P* ( ) + = 1, 0 重伯努利试验中成功的次数； (0 1)为每次试验成记忆算法来源于循环神经网络算法，由于数据在循环神经行双向传递时存在传递误差,6-，所以导致在进行数据预测失和梯度爆炸等问题，而长短期记忆算法运用输入控制,7-来避免这类问题有十分显著的效果。其结构如图 1-1 所示

神经网络,隐藏层,生物神经网络,输入层

章主要对神经网络领域的相关预测模型（CNN、RNN、LSTM）的行总结说明和论证分析。主要包括：神经网络基本结构、过拟合问法、卷积神经网络、分类神经网络和长短期记忆算法的结构和存经网络基本结构工神经网络模型是高度模仿生物神经网络的一类计算机实现模型的神经元间的突触关系进行固定，并以计算机进行结构搭建实现模型的结构和生物神经网络的结构一样，由多个不同分工的神经又由多个细胞体组成,28-。人工神经网络是依靠正向和反向传播相神经层内部的众多细胞体内部参数的运算模型。一般情况下，由直输入层（input layer）、处理数据的隐藏层（hiden layer）、数据输出层所组成。通常情况下神经网络中的输入层和输出层的数量都为 1，目并不是固定不变的。人工神经网络的基本结构如图 3-1 所示：输入层隐藏层隐藏层输出层

信息加工过程,神经网络,权值

图 3-1 神经网络信息加工过程图在神经网络中，数据信息的各层交换的实质是各神经层内部的权值和偏置值的交换,29-，首先数据传入输入层，输入层会以随机数的方式为各个细胞赋予初始的权值和偏置值，然后数据传入隐藏层，隐藏层获取相应的权值和偏置值，之后以处理过的权值和偏置值进行新的数据计算，并将数据传到梯度下降结构，通过梯度下降结构来计算下一步梯度的变化情况并将之前的权值和偏置进行更新，就这样循环往复，不断更新优化相应的权值和偏置值，最后得到最佳的权值和偏置来对数据进行预测。现阶段众多优化算法的核心都是对于梯度下降结构（优化器）中权值的更新公式进行调整,30-。在梯度下降结构中，传统更新公式见式（3-1）. = （3-1）其中，为被更新的权值，为学习效率，为调整幅度的取值。整合多步的学习效率的 momentum 更新方法见式（3-2）至（3-3）.= L （3-2）

【相似文献】