基于深度神经网络的推荐系统排序模型研究

发布时间：2021-07-04 17:37

　　随着信息技术和移动互联网的迅速发展,信息过载问题越来越严重。由此产生了两个突出的矛盾:信息消费者难以从海量信息里挖掘出有用的信息以及信息生产者难以将个性化的信息精准传达到对其感兴趣的用户手上。推荐系统技术根据用户兴趣、行为、情景等多种信息,按照用户感兴趣程度对推荐目标进行排序并推送给用户,有效地解决了信息过载的两大矛盾。本文回顾了推荐系统的研究进展,总结了目前研究存在的一些问题:协同过滤是最经典的推荐算法之一,然而在数据较为稀疏的场景,它对于数据的召回显得特别乏力:逻辑回归是经典的排序算法,但当特征特别稀疏的时候其并不能对特征进行有效的交叉建模;FM模型能够对二阶特征进行交叉组合,但对于高阶特征却无能为力;深度学习模型能够对高阶特征建模,但嵌入维度固定不灵活,并且高阶特征交叉时没有体现原始特征值交叉项。本文采用传统机器学习方法以及深度学习方法进行组合建模,提出了结合动态特征嵌入方法以及基于钻石型神经网络的高阶特征交叉组合方法的个性化推荐系统模型。该模型具有三大特点:第一,它是一个端到端模型,不需要人为构建组合特征,可以自动进行特征交叉组合;第二,特征嵌入模块根据域的属性取值数量进行动态... 

【文章来源】：浙江大学浙江省 211工程院校 985工程院校 教育部直属院校

【文章页数】：77 页

【学位级别】：硕士

【部分图文】：

图２．９?ＤＣＮ模型结构图??如图２．９所示，模型的底层是原始的稀疏向量经过嵌入堆叠层得到嵌入??

以一个简单的例子说明计算流程，假设稀疏向量经过嵌入层得到了一个??嵌入稠密向量〇１，巧３３，１４３５），经过简单的钻石型网络结构得到输出５３，示??意图如图５．３所示：??▲??ｉ?［??ｊ?＾Ｘ?ｊ?ｂｒｏａｄｃａｓｔ?ｌａｙｅｒ２??＝：：＞?丨??！?＊?ｒｅｄｕｃｅ＿ｓｕｍ?ｌａｙｅｒ？??ｉ?Ｉ?（ｈｘ＾?＾２Ｘ２ｓ－＾?（ｂ３ｘ３ｓ＾?（ｂ４ｘ４ｓ）＾?ｊｂ５ｘ５ｓ］］??Ｚ?３?Ｉ?ｂｒｏａｄｃａｓｔ?ｌａｙｅｒｓ??｜?｜?ｒｅｄｕｃｅ＿ｓｕｍ?ｌａｙｅｒ＾??图５．３钻石型神经网络结构特征交叉示意图??其中Ｓｉ?＝?＋?ａ２ｘ２?＋?ａ３ｘ３?＋?ａ４ｘ４?＋?ａ５ｘ５，这是一个加权求和的过程。??然后将该中间结果ｈ加权广播到原始嵌入向量的每一个特??征得到新的向量（ＡＸＡ?由于Ｓｉ包含所有一阶??４０??

ｍｍｍ?ｔｅｓｔｉｎｇ?ｌｏｓｓ??图６．１静态与动态特征嵌入训练时间及测试误差??从图６．１可以看出，随着嵌入维度的增加，网络的参数越多，训练时间??越长。嵌入维度对推荐系统的排序效果具有一定影响，嵌入特征维度过小会??使得原始特征表达不足，模型测试误差较高；嵌入特征维度越高特征表达越??充分，模型测试误差越小。但是当嵌入维度过高，模型容易造成过拟合，过??拟合模型的测试误差是五个训练模型中最大的。动态嵌入方法相对比静态嵌??入方法，更容易找到模型误差最小的嵌入维度，既兼顾了模型的训练时长不??会过长也保证了模型的测试误差较小。另外，由于加权动态特征嵌入方法考??虑了系统中的特征强度，相比于普通动态特征嵌入方法表现更好。??６．４．２离散型推荐系统的ＡＵＣ比较??ＡＵＣ是离散型二分类推荐系统排序结果的重要指标，衡量系统对正负样??本排序的能力。ＡＵＣ越高表明系统的分类能力越强


本文编号：3265236