基于注意力机制的视频推荐研究
发布时间：2021-10-22 11:48
信息时代的互联网和多媒体技术蓬勃发展,在线视频数量及用户数量日益剧增,信息过载成为一个亟待解决的问题。视频推荐系统作为缓解信息过载的有效手段,它使得用户可以从海量的视频中快速获取到自己感兴趣的视频,节省搜索视频资源的时间。同时,视频服务平台可以通过推荐系统提取用户的兴趣,对用户进行个性化精准推荐,提升用户粘性和体验感。因此,推荐系统是用户和平台双赢的桥梁。基于此背景与意义,本文对视频推荐系统展开研究,提出两个基于注意力机制的推荐算法。1)基于注意力机制的电影推荐算法ADeepFM。该算法在DeepFM（Factorization Machine based Neural Network）的基础上引进注意力机制,自适应地学习二阶组合特征的输出权重,解决无效的二阶组合特征可能带来噪声并对模型性能造成不利影响的问题。在计算注意力时,将二阶组合特征向量和目标电影向量均等切分成若干份向量,构成若干个不同的隐语义空间,以此计算注意力权重,细粒度地学习组合特征向量和目标电影向量关系,改善向量元素间的权重平滑问题。最后通过该算法预测目标电影的评分,产生推荐。离线实验分析表明,ADeepFM克服了Dee...
【文章来源】：深圳大学广东省
【文章页数】：67 页
【学位级别】：硕士
【部分图文】：
通过用户行为记录生成用户行为向量（引用文献[30]）
基于注意力机制的视频推荐研究223.4ADeepFM模型3.4.1ADeepFM模型结构与原理本文设计的ADeepFM如图3-2所示，ADeepFM模型的主体结构由FM模块、DNN模块和注意力机制模块构成，结构自底向上包含：（1）稀疏特征数据输入层；（2）嵌入层；（3）模型层；（4）注意力机制层；（4）输出层。图3-2ADeepFM模型框架（1）稀疏特征数据输入层。通常推荐领域的原始数据都存在数据稀疏的问题，例如用户ID、物品ID等，这些特征通常会先经过one-hot编码，使每个用户、每个物品都用独一无二向量表征，但此时这些向量是极度稀疏的，且向量的长度一般都会很长。这些因素导致这些编码后的特征无法直接输入模型中训练，且会导致模型参数过多，难以收敛等问题。（2）嵌入层。针对（1）中存在的问题，在将数据输入模型之前，需将编码后的特征向量经过映射矩阵变换成稠密连续且长度合适的向量，缓解数据的稀疏性带来的问题。嵌入层实际上是一个初始化的矩阵，映射过程实质上是一种矩阵乘法如图3-3所示，等号左边由one-hot编码后的稀疏向量和嵌入层初始化的矩阵两部分组成。稀疏向量和嵌入层矩阵相乘，变成一个矩阵下标选择，而初始化的矩阵会在训练过程中不断更新，所以相乘的结果是不断更新的。
基于注意力机制的视频推荐研究23图3-3嵌入层矩阵乘法（3）模型层。2.3.3小节中详细介绍了FM模型，这里不再赘述。在DNN模型中，用(0)表示所有特征在嵌入层的表达的集合，如公式(3-1)所示。DNN模型的输出如公式(3-2)所示。(0)=[1,2,3,](31)=((+1)()+(+1))(32)其中，表示第个特征的嵌入层表达，一共有个特征。(+1)和(+1)表示网络隐含层第+1层的权重和偏置，表示激活函数，表示DNN模型的输出。（4）注意力机制层。该模块使得FM模型能够进一步在二阶组合特征中做细致的挑选，降低对预测任务没有贡献的二阶组合特征的权重，并增大对预测任务有贡献的二阶组合特征的权重。记FM模型的输出经过注意力模块最后的输出为。该模块如何产生将在下一小节细致展开论述。（5）输出层。输出模块融合FM模型的自适应权重输出和DNN模型的输出，如公式(3-3)所示。=((,))(33)其中，表示输出层的激活函数，可针对不同的预测任务挑选合适的激活函数。3.4.2注意力机制模型与目标函数如图3-4所示，注意机制模型有两个输入端，分别是FM模型输出的二阶组合特征向量和目标电影的向量。在该步骤使用注意力机制目的是为了进一步挖掘二阶组合特征向量中哪一部分的向量更有助于对目标电影评分的预测。不同于公式(2-2)直接计算二阶组合特征的内积，在输入注意力模型之前只是先计算二阶组合特征的元素积，这样做的目的一方面是让每个二阶组合特征与目标视频的嵌入层表示保持同样的维度大小，方便后续计算注意力权重；另一方面是为了更细粒度的刻画注意力机制的输出权重。通常，基于注意力机制模型的输出可以描述为A=∑=0，表示输入向量经过注意力机制模型后学习到的权重，向量长度为。由此可以看出向量中
【参考文献】：
期刊论文
[1]MN-HDRM:长短兴趣多神经网络混合动态推荐模型[J]. 冯永,张备,强保华,张逸扬,尚家兴. 计算机学报. 2019(01)
[2]跨媒体分析与推理:研究进展与发展方向（英文）[J]. Yu-xin PENG,Wen-wu ZHU,Yao ZHAO,Chang-sheng XU,Qing-ming HUANG,Han-qing LU,Qing-hua ZHENG,Tie-jun HUANG,Wen GAO. Frontiers of Information Technology & Electronic Engineering. 2017(01)
[3]基于位置社交网络的上下文感知的兴趣点推荐[J]. 任星怡,宋美娜,宋俊德. 计算机学报. 2017(04)
[4]基于DNN算法的移动视频推荐策略[J]. 陈亮,汪景福,王娜,李霞. 计算机学报. 2016(08)
[5]考虑项目属性的协同过滤推荐模型[J]. 杨兴耀,于炯,吐尔根·依布拉音,钱育蓉,孙华. 计算机应用. 2013(11)
[6]推荐系统评价指标综述[J]. 朱郁筱,吕琳媛. 电子科技大学学报. 2012(02)
[7]基于社会网络信息流模型的协同过滤算法[J]. 万里,廖建新,王纯. 吉林大学学报(工学版). 2011(01)
硕士论文
[1]基于深度神经网络的视频个性化推荐系统研究[D]. 高睿.深圳大学 2017
本文编号：3451038
【文章来源】：深圳大学广东省
【文章页数】：67 页
【学位级别】：硕士
【部分图文】：
通过用户行为记录生成用户行为向量（引用文献[30]）
基于注意力机制的视频推荐研究223.4ADeepFM模型3.4.1ADeepFM模型结构与原理本文设计的ADeepFM如图3-2所示，ADeepFM模型的主体结构由FM模块、DNN模块和注意力机制模块构成，结构自底向上包含：（1）稀疏特征数据输入层；（2）嵌入层；（3）模型层；（4）注意力机制层；（4）输出层。图3-2ADeepFM模型框架（1）稀疏特征数据输入层。通常推荐领域的原始数据都存在数据稀疏的问题，例如用户ID、物品ID等，这些特征通常会先经过one-hot编码，使每个用户、每个物品都用独一无二向量表征，但此时这些向量是极度稀疏的，且向量的长度一般都会很长。这些因素导致这些编码后的特征无法直接输入模型中训练，且会导致模型参数过多，难以收敛等问题。（2）嵌入层。针对（1）中存在的问题，在将数据输入模型之前，需将编码后的特征向量经过映射矩阵变换成稠密连续且长度合适的向量，缓解数据的稀疏性带来的问题。嵌入层实际上是一个初始化的矩阵，映射过程实质上是一种矩阵乘法如图3-3所示，等号左边由one-hot编码后的稀疏向量和嵌入层初始化的矩阵两部分组成。稀疏向量和嵌入层矩阵相乘，变成一个矩阵下标选择，而初始化的矩阵会在训练过程中不断更新，所以相乘的结果是不断更新的。
基于注意力机制的视频推荐研究23图3-3嵌入层矩阵乘法（3）模型层。2.3.3小节中详细介绍了FM模型，这里不再赘述。在DNN模型中，用(0)表示所有特征在嵌入层的表达的集合，如公式(3-1)所示。DNN模型的输出如公式(3-2)所示。(0)=[1,2,3,](31)=((+1)()+(+1))(32)其中，表示第个特征的嵌入层表达，一共有个特征。(+1)和(+1)表示网络隐含层第+1层的权重和偏置，表示激活函数，表示DNN模型的输出。（4）注意力机制层。该模块使得FM模型能够进一步在二阶组合特征中做细致的挑选，降低对预测任务没有贡献的二阶组合特征的权重，并增大对预测任务有贡献的二阶组合特征的权重。记FM模型的输出经过注意力模块最后的输出为。该模块如何产生将在下一小节细致展开论述。（5）输出层。输出模块融合FM模型的自适应权重输出和DNN模型的输出，如公式(3-3)所示。=((,))(33)其中，表示输出层的激活函数，可针对不同的预测任务挑选合适的激活函数。3.4.2注意力机制模型与目标函数如图3-4所示，注意机制模型有两个输入端，分别是FM模型输出的二阶组合特征向量和目标电影的向量。在该步骤使用注意力机制目的是为了进一步挖掘二阶组合特征向量中哪一部分的向量更有助于对目标电影评分的预测。不同于公式(2-2)直接计算二阶组合特征的内积，在输入注意力模型之前只是先计算二阶组合特征的元素积，这样做的目的一方面是让每个二阶组合特征与目标视频的嵌入层表示保持同样的维度大小，方便后续计算注意力权重；另一方面是为了更细粒度的刻画注意力机制的输出权重。通常，基于注意力机制模型的输出可以描述为A=∑=0，表示输入向量经过注意力机制模型后学习到的权重，向量长度为。由此可以看出向量中
【参考文献】：
期刊论文
[1]MN-HDRM:长短兴趣多神经网络混合动态推荐模型[J]. 冯永,张备,强保华,张逸扬,尚家兴. 计算机学报. 2019(01)
[2]跨媒体分析与推理:研究进展与发展方向（英文）[J]. Yu-xin PENG,Wen-wu ZHU,Yao ZHAO,Chang-sheng XU,Qing-ming HUANG,Han-qing LU,Qing-hua ZHENG,Tie-jun HUANG,Wen GAO. Frontiers of Information Technology & Electronic Engineering. 2017(01)
[3]基于位置社交网络的上下文感知的兴趣点推荐[J]. 任星怡,宋美娜,宋俊德. 计算机学报. 2017(04)
[4]基于DNN算法的移动视频推荐策略[J]. 陈亮,汪景福,王娜,李霞. 计算机学报. 2016(08)
[5]考虑项目属性的协同过滤推荐模型[J]. 杨兴耀,于炯,吐尔根·依布拉音,钱育蓉,孙华. 计算机应用. 2013(11)
[6]推荐系统评价指标综述[J]. 朱郁筱,吕琳媛. 电子科技大学学报. 2012(02)
[7]基于社会网络信息流模型的协同过滤算法[J]. 万里,廖建新,王纯. 吉林大学学报(工学版). 2011(01)
硕士论文
[1]基于深度神经网络的视频个性化推荐系统研究[D]. 高睿.深圳大学 2017
本文编号：3451038
本文链接：https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3451038.html
