深度学习在回归预测中的研究及应用

发布时间：2017-12-24 22:22

本文关键词：深度学习在回归预测中的研究及应用　出处：《山东农业大学》2017年硕士论文　论文类型：学位论文

【摘要】：人工神经网络是通过对人脑神经元的信息处理机制进行模拟而构建的一种机器学习模型,具有自学习、自适应、高容错性等优势。但是随着人工神经网络隐藏层的层数增加,梯度弥散现象严重,导致多隐藏层的人工神经网络的优化成为难题。2006年,Hinton等人提出的贪婪逐层无监督预训练策略,使得深度神经网络的训练成为可能,从而开启了深度学习的时代。深度学习利用多隐藏层的结构,对低层特征进行高度抽象,从而实现特征的自动提取。本文针对适用于回归预测的深度学习算法展开研究并将其应用于小麦蚜虫的短期预测中。主要研究内容如下:(1)逐层无监督预训练策略在深度学习的预训练过程中发挥着重要的作用,但样本标签所提供的监督信息是无法替代的。面对数据量较少的回归预测问题,无监督学习的优势并不明显。将堆叠降噪自动编码器的特征提取模块改为有监督学习,提出基于有监督预训练的堆叠降噪自动编码器,充分利用样本标签提供的监督信息,弥补数据量不足的劣势。通过在UCI回归数据集进行实验,实验结果表明改进的堆叠降噪自动编码器回归预测误差更小,泛化能力更强。(2)超参数的设置对深度学习模型的预测性能有很大的影响,而目前对于超参数的设置缺乏明确的理论指导。本文在网格搜索算法的基础上,从提高时间效率和预测准确性两个方面对网格搜索进行改进,提出了分块网格搜索和分块变网格搜索。为了验证改进的超参数优化算法的有效性,在UCI回归数据集上进行实验。Concrete数据集上的实验结果表明:使用分块网格搜索和分块变网格搜索对超参数进行优化的时间性能远远优于网格搜索,并且SDAE3模型的预测能力优于SDAE2模型。对Slice数据集进行实验,SDAE0模型的均方误差为66.19,而使用分块网格搜索对超参数进行优化得到SDAE2模型的均方误差降低到2.98。Housing数据集的实验结果表明,使用分块网格搜索和分块变网格搜索对超参数进行优化的得到DBN2和DBN3模型的预测结果均优于支持向量回归以及局部支持向量回归(LSVR)模型。(3)小麦蚜虫是危害小麦产量和品质的主要虫害之一,通过对小麦蚜虫的发生情况进行及时准确的预测,可以提早预防,降低损失。本文将深度信念网络与局部支持向量回归进行结合,提出了DBN_LSVR模型,并将其用于小麦蚜虫发生情况的短期预测。其中深度信念网络主要用于小麦蚜虫的特征学习阶段,局部支持向量回归主要用于回归模型的构建。通过在小麦蚜虫数据集上进行实验,实验结果表明,DBN_LSVR模型对百株蚜量的预测误差为649.2,对发生程度的预测准确率达到83.33%。通过与LSVR、DBN等模型进行对比,实验结果表明,DBN_LSVR模型对小麦蚜虫发生情况的预测优于其它对比模型,为小麦蚜虫以及其它虫害的预测预报提供了一种可行的方案。
【学位授予单位】：山东农业大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：TP18;O212.1

【参考文献】