基于LSTM的时间序列预测算法的并行化研究

发布时间：2021-12-28 10:17

　　当面临越来越庞大的数据集、亦或是规模较大的分布式集群环境时,LSTM算法进行时间序列预测分析会暴露出较为明显的训练效率问题,为此,本文提出了一种并行化LSTM的解决方案。该解决方案主要依靠YARN框架针对大数据的处理能力和分布式资源调度能力,以及TensorFlow架构提供的分布式框架设计,将两者进行结合,将YARN框架作为顶层的任务分配和资源调度模块,TensorFlow架构作为中间层,衔接底层的并行化LSTM算法和顶层的YARN架构,LSTM算法也通过切片分组的方式进行并行化修改。文章重点说明了YARN层与TensorFlow层的适配方案,通过对原有框架的修改,保留其对资源调度和任务分配方面的功能,将TensorFlow封装在YARN框架的节点容器中,通过相关机制,YARN可以向下层的TensorFlow发布任务,并快速提供所需资源。而关于LSTM算法的并行化解决方案,则主要是基于时间片进行切片的方式进行分组,在组内串行训练,组间并行化训练,一轮训练结果作为二轮的输入,重复进行,多次迭代,直到得到最终训练结果为止。此外,文章介绍了作为桥梁的TensorFlow框架的分布式架构设计,... 

【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校

【文章页数】：94 页

【学位级别】：硕士

【部分图文】：

源数据记录本节使用的数据为https://data.matr.io/1/提供的电池数据，电池数据来源如下：所有电池均采用一步或两步充电策略进行循环

电子科技大学硕士学位论文26电循环次数Cycle_Index、当前的电池充电容量Charge_Capacity、放电容量Discharge_Capacity等。为了能够直观的表现电池容量的大致规律，本文仅针对放电容量和循环次数制图，所得图表如图3-3所示。图3-3放电容量与循环次数可以看出，大体上而言，随着充放电循环次数增加，电池容量逐渐减少，直至最后降至0。本LSTM算法的核心任务，即为能够根据给出的电池前T时间步内的电池状态，预测出第T+1到T+N时间步内的电池状态。LSTM模块（或单元）具有5个基本组件，可用于对长期和短期数据进行建模。单元状态-表示单元的内部存储器，该单元既存储短期存储器又存储长期存储器。隐藏状态-这是根据当前输入，先前的隐藏状态和当前单元格输入计算得出的输出状态信息，最终可以使用这些信息来预测未来的股票市场价格。另外，隐藏状态可以决定仅检索存储在单元状态中的短期或长期或两种类型的存储器，以进行下一次预测。输入门-确定从当前输入流到单元状态i的信息量。忘记门-确定当前输入和先前单元状态中有多少信息流入当前单元状态。输出门-确定当前单元状态中有多少信息流入隐藏状态，因此，如果需要，LSTM只能选择长期记忆或短期记忆和长期记忆。

第四章仿真实验结果分析65图4-7训练过程中的损失和训练精度变化（取每200步打印一次）为了能够针对当前算法对于GPU的利用情况，本小节采用了TensorFlow自带的timeline模块针对GPU进行跟踪监视。timeline模块不仅能够有效的记录CPU的使用情况，更为重要的是，其本身支持将记录数据导出成为.json文件，该.json文件可以通过包括Chrome在内的浏览器所读取，生成直观的图表，方便进行分析。timeline模块核心示例代码如表4-5所示。


本文编号：3553882