基于注意力机制的网络表示学习算法研究

发布时间：2021-05-24 06:19

　　网络表示学习是复杂信息网络分析的基础,旨在将网络中的节点（节点级）或者整个网络（图级）表示为低维稠密的实值向量,以期应用于节点分类、链接预测、图分类等实际任务。近年来,对网络表示学习的研究受到了越来越多研究者的关注,其中,基于深度学习的图神经网络在网络表示学习领域发挥着越来越重要的作用。然而,高阶邻域信息不能被有效利用是大多数现有的图神经网络存在的问题。本文针对该问题进行了研究,并在节点级和图级网络表示学习任务中提出了相应的解决方案,主要研究内容总结为以下两点:（1）在节点表示学习任务中,提出了基于注意力机制的融合多阶邻域信息的图卷积网络。我们首先在注意力机制中使用不同的屏蔽矩阵,提取融合了不同阶邻域信息的节点表示;然后提出了一种融合机制,将节点的多种表示融合成一个统一的表示。不同阶邻域信息的使用是独立进行的,避免了堆叠多个图卷积层引起的过度平滑问题。具体来说,本文使用输入图的邻接矩阵的幂作为屏蔽矩阵,将注意力权值矩阵相应位置置为0,以提取不同阶邻域的局部信息;另外,在融合过程中使用动态路由算法自适应地确定不同的节点表示对最终节点表示的贡献,以学习更有效的节点表示。在引文网络数据集上的... 

【文章来源】：中国科学技术大学安徽省 211工程院校 985工程院校

【文章页数】：74 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第1章 绪论
    1.1 研究背景与意义
    1.2 问题定义
        1.2.1 网络表示学习问题
        1.2.2 网络表示学习的数学定义
    1.3 研究现状
        1.3.1 网络表示学习方法分类
        1.3.2 基于注意力机制的网络表示学习相关工作
    1.4 面临的挑战与研究动机
        1.4.1 高阶邻域信息在注意力机制中的有效利用
        1.4.2 同时保留网络的拓扑结构信息和节点属性信息
    1.5 研究内容及主要贡献
    1.6 本文组织结构安排
第2章 基于注意力机制的节点级网络表示学习方法
    2.1 引言
    2.2 相关工作
        2.2.1 基于频谱的方法
        2.2.2 基于空间的方法
        2.2.3 基于注意力机制的方法
    2.3 基于注意力机制的节点级网络表示学习方法
        2.3.1 多注意力图卷积层
        2.3.2 隐状态聚合层
        2.3.3 模型训练
    2.4 实验结果与分析
        2.4.1 数据集
        2.4.2 实验设置
        2.4.3 节点分类实验结果
        2.4.4 参数敏感性分析
        2.4.5 可视化
        2.4.6 与其他模型的对比分析
    2.5 本章小结
第3章 基于注意力机制的图级网络表示学习方法
    3.1 引言
    3.2 相关工作
        3.2.1 图核方法
        3.2.2 图池化方法
        3.2.3 基于注意力机制的方法
    3.3 基于注意力机制的图级网络表示学习方法
        3.3.1 注意力Mask
        3.3.2 池化
        3.3.3 模型架构
        3.3.4 模型训练
    3.4 实验结果与分析
        3.4.1 数据集
        3.4.2 实验设置
        3.4.3 图分类实验结果
        3.4.4 参数敏感性分析
        3.4.5 与其他模型的对比分析
    3.5 本章小结
第4章 总结与展望
    4.1 主要工作与成果
    4.2 未来展望
参考文献
致谢
在读期间发表的学术论文与取得的研究成果



本文编号：3203704