基于多粒度注意网络的推荐模型研究

发布时间：2021-12-17 01:46

　　由于信息爆炸式增长,推荐系统作为解决信息过载问题的技术应运而生,在有效挖掘用户潜在兴趣的同时,也为企业带来巨大的商业价值。与受限于评分数据稀疏等问题的传统推荐模型不同,基于评论的推荐模型额外考虑了有价值的用户评论信息,因而近年来受到了各界的广泛关注。然而,现有方法大多仅在词粒度提取评论的语义特征,未考虑到人类通常按照词、句子、评论的层次递进理解语义;忽略了评论中包含大量与评分预测任务无关的噪声数据;忽略了用户偏好会随时间变化的客观事实,无法捕获用户潜在的偏好转变。因此,现有方法难以全面、准确地挖掘出用户的偏好。为了解决上述问题,本文提出一个动态多粒度注意网络推荐模型。具体而言,该模型模拟人类的理解顺序,遵循词粒度、句子粒度、评论粒度的顺序逐级递进学习用户和物品评论的语义特征。其中,模型在各粒度语义特征构建中分别融入了注意力机制以学习词、句子和评论的重要性。进而,以重要性为依据,对多粒度特征进行逐级加权求和,得出用户/物品的特征,有效过滤掉评论中的噪声数据。随后,将用户特征按时序输入门控循环单元,以建模动态的用户特征。最终,将物品特征和动态用户特征输入因子分解机中,对特征间的高阶关系建模... 

【文章来源】：华南理工大学广东省 211工程院校 985工程院校 教育部直属院校

【文章页数】：73 页

【学位级别】：硕士

【部分图文】：

为D-Attn的模型结构

第二章评论感知推荐模型的基本理论和方法13以及评论中重要的词，提取其语义特征用以表示用户/物品。图2-2D-Attn模型结构示意图总而言之，主流的评论感知推荐模型遵从以下核心原理：先分别利用用户、物品评论学习用户、物品表示，然后通过内积、因子分解机等方式对用户和物品特征之间的交互进行建模并预测评分。最新的研究工作大多基于上述核心原理，探索如何降低评论中噪音数据对预测性能带来的影响，学习更优质的用户和物品表示，以进一步提升模型性能。2.2注意力机制注意力机制作为近几年自然语言处理领域的璀璨新星，以其计算简单且有针对性地聚焦重点信息的特点，赋予了自然语言处理领域模型更强的学习能力。注意力这个词本来是属于人类才有的动作，例如人们在看一张图片的时候，除了从整体把握一幅图片之外，也会更加注意图片的某个局部信息，例如局部桌子的位置、商品的种类等等。也就是说，注意力机制模仿了生物观察行为的内部过程，即一种将内部经验和外部感觉对齐从而增加部分区域的观察精细度的机制。通过注意力机制，可以对关键的部分分配较多的注意力，而对非关键的部分分配较少的注意力，从而改善模型效果。

华南理工大学硕士学位论文14注意力机制最初是在神经机器翻译领域被提出的，因为早期的翻译模型在解码器中给原始句子中的每个单词都赋予相同权重，导致单词没有足够区分度，从而损害了模型性能。所以文献[49]提出在解码的时候，利用注意力机制对所有编码层的隐向量进行加权组合，从而使得模型在生成当前时刻翻译结果的时候，能够聚焦于原语句中的某些单词的目的。为方便理解注意力机制的原理，图2-3展示了机器翻译模型如何结合注意力机制，在给定源句子1,...,Txx时翻译第t个目标词ty。总体上看，该机器翻译模型由编码器和解码器组成，编码器负责将包括T个词的输入序列1,...,Txx编码成一个语义向量tc，解码器负责将语义向量tc进行解码翻译到目标语言序列。其中，编码器基于双向循环神经网络，先计算前向隐藏状态ihPa和后向隐藏状态ihDb，后将二者拼接得到隐藏层向量ih，其中i=1,...,T。解码器先计算目标词的隐藏状态()11,,tttts=fsyc，再由此计算出ty。图2-3基于注意力机制的机器翻译模型示意图在编码过程中，如果未使用注意力机制，模型将直接把编码器的隐藏层向量1,...,Thh的均值作为包含待翻译文本的上下文信息的语义向量tc输入解码器。但是，如果使用注意力机制，模型则如图2-3所示，通过公式（2-2）计算得到语义向量tc。,1Tttjjjcah==(2-2)


本文编号：3539185