基于分层注意力的信息级联预测模型

发布时间：2024-03-10 10:49

　　信息级联预测(Information Cascade Prediction)是社交网络分析领域的一个研究热点,其通过信息级联的扩散序列与拓扑图来学习在线社交媒体中信息的传播模式。当前的信息级联预测模型大多以循环神经网络为基础,仅考虑信息级联的时序结构信息或者序列内部的空间结构信息,无法学习序列之间的拓扑关系。而现有的级联图结构学习方法无法为节点的邻居分配不同的权重,导致节点之间的关联性学习较差。针对上述问题,文中提出了基于节点表示的信息级联采样方法,将信息级联建模为节点表示而非序列表示。随后提出一种基于分层注意力的信息级联预测(Information Cascade Prediction with Hierarchical Attention,ICPHA)模型。该模型首先通过结合了自注意力机制的循环神经网络来学习节点序列的时序结构信息;然后通过多头注意力机制学习节点表示之间的空间结构信息;最后通过分层的注意力网络对信息级联的结构信息进行联合建模。所提模型在Twitter,Memes,Digg这3种数据集上达到了领先的预测效果,并且具有良好的泛化能力。

【文章页数】：9 页

【部分图文】：

图4图注意力机制示意图

hi′=σ(∑j∈NiαijWhj)?????????(14)本文的信息级联预测模型采用多头图注意力网络进行节点的特征学习。设置K个独立的注意力机制执行上述共享权重W的线性映射,最后将K个特征向量进行拼接,得到节点ui的多头特征表示hi′(K):

图1基于节点表示的信息级联采样方法示意图

如图1(a)所示,对级联序列{d,e,f,g,h,i}进行基于节点的信息级联采样,假设序列的给定采样长度为5,则分别以级联序列中的每个节点为末尾节点生成6条子序列,之后对每一条子序列进行长度为5的逆序一阶游走采样(若无前一个节点,则直接停止采样)。如图1(b)所示,基于节点的信息....

图2ICPHA模型框架示意图

得到图中每个节点的特征表示后,训练一个多层感知器进行特征学习,最后通过softmax函数输出最终的预测结果。4.1模型构建

图3自注意力循环神经网络层

u～i=∑kαkαhk?????????(11)4.1.3图注意力网络层

本文编号：3924683