基于深度LightGBM集成学习模型的谷歌商店顾客购买力预测

发布时间：2021-03-02 21:38

　　针对轻量化梯度促进机（LightGBM）等集成学习模型只对数据信息进行一次挖掘,无法自动地细化数据挖掘粒度或通过深入挖掘得到更多的数据中潜在内部关联信息的问题,提出了深度LightGBM集成学习模型,该模型由滑动窗口和加深两部分组成。首先,通过滑动窗口使得集成学习模型能够自动地细化数据挖掘粒度,从而更加深入地挖掘数据中潜在的内部关联信息,同时赋予模型一定的表示学习能力。然后,基于滑动窗口,用加深步骤进一步地提升模型的表示学习能力。最后,结合特征工程对数据集进行处理。在谷歌商店数据集上进行的实验结果表明,所提深度集成学习模型相较原始集成学习模型的预测精度高出6.16个百分点。所提方法能够自动地细化数据挖掘粒度,从而获取更多数据集中的潜在信息,并且深度LightGBM集成学习模型与传统深度神经网络相比是非神经网络的深度模型,参数更少,可解释性更强。 

【文章来源】：计算机应用. 2019,39(12)北大核心

【文章页数】：6 页

【部分图文】：

客户购买力分布

为了使得集成学习模型能够自动地细化数据挖掘粒度并且在数据集上潜在地具有情境意识或结构意识,本文提出将滑动窗口(对应图1中内部和外围虚线框)预测结果以及原始特征向量串联作为新的特征向量,具体算法流程见算法4。并且,在进行训练的时候都采用K折交叉验证方式进行训练,避免出现过拟合现象。算法4 滑动窗口产生新特征。

在该部分,本文首先将滑动窗口部分的输出特征向量作为输入。对于LightGBM/Catboost+滑动窗口模型进行加深的算法5,其算法流程为:首先,将输入特征向量放入学习模型进行训练,同样也将采用K折交叉验证进行训练。其次,如若当前所处深度等于1,则将学习模型的预测结果和输入特征向量串联;如若当前所处深度大于1,则将学习模型的预测结果覆盖到输入特征向量中存储上一层预测结果的位置。图2中每层输出特征向量的第一个虚线框代表着每层学习模型的预测结果。最后,达到指定深度时,将学习模型的预测结果输出。图2所展示的是Depth=2时模型结构,通过控制Depth参数来调整模型的深度。深度的确定依据最终预测结果的精度,若层次过深、精度下降,则减少加深层次、调整深度以达到最优精度输出。


本文编号：3059996