推荐系统中的注意力机制应用研究

发布时间：2021-02-07 21:21

　　注意力机制是近些年来深度学习领域逐渐兴起的一种技术,由于能有效提高深度模型精度以及可解释性,注意力机制方成型便被迅速应用到各种不同的任务中。而随着近年来深度学习模型在推荐系统领域的逐渐普及,注意力机制也开始在推荐系统领域得到越来越多的关注。尽管如此,注意力机制在推荐系统中的相关研究仍处于起步状态,还有大量的能够应用注意力机制的场景未被探索。基于此,本文拟对推荐系统中注意力机制的应用进行研究,对传统域感知分解机与注意力机制的结合进行探讨和尝试。具体地,本文主要研究工作如下:1)本文基于传统的域感知分解机提出了神经域感知分解机。域感知分解机是一种被广泛应用于推荐系统的机器学习算法,可以用于评分预测、点击率预估等任务。本文尝试将域感知分解机转化为多层神经网络,并对其进行改进,提出神经域感知分解机。实验结果表明本文提出的神经域感知分解机精度超过实验中的大部分对比模型。同时该模型也为后续注意力机制的研究提供了基础。2)本文提出了基于层级注意力机制的域感知分解机。神经域感知分解机中包含的特征、域和二阶交互等概念,具有清晰的层级关系,本文使用层级注意力机制对该关系进行建模,提升神经域感知分解机的表现... 

【文章来源】：华南理工大学广东省 211工程院校 985工程院校 教育部直属院校

【文章页数】：78 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 研究背景和意义
    1.2 国内外研究动态
        1.2.1 注意力机制研究动态
        1.2.2 推荐系统研究动态
        1.2.3 推荐系统中的注意力机制研究动态
    1.3 本文主要工作和贡献
    1.4 论文组织结构
第二章 相关理论基础和背景知识
    2.1 推荐系统简述
        2.1.1 系统架构
        2.1.2 开放问题
    2.2 推荐系统常用模型
        2.2.1 因子分解机
        2.2.2 域感知分解机
        2.2.3 深度模型
    2.3 注意力机制简述
        2.3.1 平凡注意力
        2.3.2 协同注意力与层级注意力
    2.4 本章小结
第三章 基于层级注意力和域感知分解机的个性化推荐
    3.1 研究动机
    3.2 问题定义
    3.3 基于层级注意力和域感知分解机的推荐算法
        3.3.1 基础模型
        3.3.2 神经域感知分解机
        3.3.3 基于层级注意力的神经域感知分解机
    3.4 在线性能优化
        3.4.1 通用方法
        3.4.2 本文模型在线性能优化
    3.5 本章小结
第四章 实验结果与分析
    4.1 基线模型
    4.2 数据集
        4.2.1 概述及预处理
        4.2.2 数据分析
    4.3 实验环境与设置
        4.3.1 实验环境
        4.3.2 模型设置
        4.3.3 评估指标
    4.4 实验结果与分析
        4.4.1 回归任务
        4.4.2 分类任务
        4.4.3 性能对比实验
        4.4.4 在线性能优化实验
        4.4.5 参数敏感性实验
    4.5 本章小结
总结与展望
    本文工作总结
    未来工作展望
参考文献
攻读硕士学位期间取得的研究成果
致谢
附件


【参考文献】：
期刊论文
[1]融合卷积神经网络与层次化注意力网络的中文文本情感倾向性分析[J]. 程艳,叶子铭,王明文,张强,张光河.  中文信息学报. 2019(01)
[2]基于深度学习的推荐系统研究综述[J]. 黄立威,江碧涛,吕守业,刘艳博,李德毅.  计算机学报. 2018(07)
[3]面向隐式反馈的推荐系统研究现状与趋势[J]. 陆艺,曹健.  计算机科学. 2016(04)
[4]深度学习研究综述[J]. 尹宝才,王文通,王立春.  北京工业大学学报. 2015(01)



本文编号：3022845