基于用户偏好网络的点击率预估模型研究
发布时间：2022-01-08 16:51
大数据时代下,挖掘并利用海量用户数据实现更加精准和个性化的广告推荐和投放,已成为业界研究的热点。点击率预估是广告投放和推荐中的关键环节,直接影响着业务收入和用户体验,具有极其重要的商业价值。用户行为序列中隐含的用户偏好信息对点击率预估有着重要影响,当前针对点击率预估的研究多从建模特征低阶和高阶交互关系的角度出发设计模型,难以充分挖掘和利用用户历史行为序列中隐含的用户偏好信息。本文回顾和总结了前人在点击率预估问题上研究和探索的成果,并在此基础上,从建模用户偏好的角度出发,提出基于用户偏好网络的点击率预估模型,包括基于用户长短期偏好的点击率预估模型和融合用户漂移偏好的点击率预估模型,在两个模型中的主要研究工作包括:（1）针对用户偏好多样多维、局部激活的特点,提出一种挖掘用户长短期偏好的偏好提取网络。根据用户偏好的多样性将偏好划分为短期偏好和长期偏好,设计长短期偏好提取网络,基于用户历史行为序列同时学习用户短期偏好信息与长期偏好信息,并采用多头注意力机制刻画用户长短期偏好在不同子空间下细粒度、多维度的偏好特征。（2）针对真实场景中存在的用户偏好漂移问题,提出一种基于PAGRU单元的偏好漂移网...
【文章来源】：华南理工大学广东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：71 页
【学位级别】：硕士
【部分图文】：
LSTM结构图
华南理工大学硕士学位论文120时，候选隐状态会被强迫完全忽略上一时刻计算的隐状态的影响，其生成变成完全由当前时刻GRU单元的输入所决定，犹如刚接收一个变长输入序列的开始符合。这一设计使得GRU单元具有了遗忘能力，能使GRU当前时刻候选隐状态的生成中可以丢弃不相关的信息，有效增强了GRU单元的特征学习和表示能力。另一方面，更新门有力控制着上一时刻隐状态对当前时刻隐状态生成的影响程度，决定了保留多少数量的来自上一时刻隐状态的信息。这一结构设计与LSTM网络结构中的记忆细胞相似，使得GRU单元拥有记忆能力，能够记忆长期信息，加强了GRU单元对长期依赖关系的建模。由于GRU中每一个时间步长对应隐状态其生成都享有各自的重置和更新门，每一个时间步长的隐状态便可以借此建模捕获多个时空尺度下长短期依赖，当隐状态学习捕获长序依赖特征时，GRU单元趋向于有较多活跃的更新门，而当隐状态学习捕获短序依赖特征时，GRU单元趋向于拥有频繁活跃的重置门。GRU单元的详细结构如图2-3所示。图2-3GRU结构图GRU是替代LSTM的另一种选择，虽然构的合理性同样难以验证。分析传统RNN、LSTM、GRU的数学描述和结构设计容易发现，传统RNN总是简单的采用一个由当前时刻输入和上一时刻隐状态计算得到的新值完全替换旧的隐状态，而LSTM和GRU则选择在激活或抑制上一时刻的隐状态的基础上以添加的方式加入由当前时刻输入和上一时刻隐状态计算得到的新值。这种添加方式的结构设计有两个优点，一方面，它使得
华南理工大学硕士学位论文30图3-4各对比模型在亚马逊图书数据集上的AUC图3-5各对比模型在亚马逊电子数据集上的AUC影响。从用户偏好学习角度出发设计的DIN、DIEN和本章提出的LSTPN，展现出了更强的学习能力。DIN从激活和CTR预估商品相关的用户偏好出发进行设计，DIEN更进
【参考文献】：
期刊论文
[1]面向展示广告的点击率预测模型综述[J]. 刘梦娟,曾贵川,岳威,仇笠舟,王加昌. 计算机科学. 2019(07)
[2]注意力机制在深度学习中的研究进展[J]. 朱张莉,饶元,吴渊,祁江楠,张钰. 中文信息学报. 2019(06)
[3]基于融合结构的在线广告点击率预测模型[J]. 刘梦娟,曾贵川,岳威,刘瑶,秦志光. 计算机学报. 2019(07)
[4]基于FTRL优化算法的广告点击率预测模型研究[J]. 厍向阳,王邵鹏. 计算机工程与应用. 2019(14)
[5]结合注意力与卷积神经网络的中文摘要研究[J]. 周才东,曾碧卿,王盛玉,商齐. 计算机工程与应用. 2019(08)
[6]基于对抗训练策略的语言模型数据增强技术[J]. 张一珂,张鹏远,颜永红. 自动化学报. 2018(05)
[7]FM集成模型在广告点击率预估中的应用[J]. 潘博,张青川,于重重,谢小兰. 计算机应用与软件. 2018(01)
[8]基于伪数据的机器翻译质量估计模型的训练[J]. 吴焕钦,张红阳,李静梅,朱俊国,杨沐昀,李生. 北京大学学报(自然科学版). 2018(02)
[9]全卷积网络结合改进的条件随机场-循环神经网络用于SAR图像场景分类[J]. 汤浩,何楚. 计算机应用. 2016(12)
[10]面向运动目标检测的粒子滤波视觉注意力模型[J]. 刘龙,樊波阳,刘金星,杨乐超. 电子学报. 2016(09)
博士论文
[1]智能语音交互中的用户意图理解与反馈生成研究[D]. 宁义双.清华大学 2017
硕士论文
[1]一种基于深度偏好网络的点击率预估模型的设计与评价[D]. 王学斌.北京大学 2019
[2]基于深度神经网络的点击率预估模型[D]. 邱威.华南理工大学 2019
[3]基于RF、XGBoost和FFM集成的CTR预估[D]. 王雪萍.浙江大学 2018
[4]一种基于逻辑回归模型的搜索广告点击率预估方法的研究[D]. 王兵.浙江大学 2013
本文编号：3576924
【文章来源】：华南理工大学广东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：71 页
【学位级别】：硕士
【部分图文】：
LSTM结构图
华南理工大学硕士学位论文120时，候选隐状态会被强迫完全忽略上一时刻计算的隐状态的影响，其生成变成完全由当前时刻GRU单元的输入所决定，犹如刚接收一个变长输入序列的开始符合。这一设计使得GRU单元具有了遗忘能力，能使GRU当前时刻候选隐状态的生成中可以丢弃不相关的信息，有效增强了GRU单元的特征学习和表示能力。另一方面，更新门有力控制着上一时刻隐状态对当前时刻隐状态生成的影响程度，决定了保留多少数量的来自上一时刻隐状态的信息。这一结构设计与LSTM网络结构中的记忆细胞相似，使得GRU单元拥有记忆能力，能够记忆长期信息，加强了GRU单元对长期依赖关系的建模。由于GRU中每一个时间步长对应隐状态其生成都享有各自的重置和更新门，每一个时间步长的隐状态便可以借此建模捕获多个时空尺度下长短期依赖，当隐状态学习捕获长序依赖特征时，GRU单元趋向于有较多活跃的更新门，而当隐状态学习捕获短序依赖特征时，GRU单元趋向于拥有频繁活跃的重置门。GRU单元的详细结构如图2-3所示。图2-3GRU结构图GRU是替代LSTM的另一种选择，虽然构的合理性同样难以验证。分析传统RNN、LSTM、GRU的数学描述和结构设计容易发现，传统RNN总是简单的采用一个由当前时刻输入和上一时刻隐状态计算得到的新值完全替换旧的隐状态，而LSTM和GRU则选择在激活或抑制上一时刻的隐状态的基础上以添加的方式加入由当前时刻输入和上一时刻隐状态计算得到的新值。这种添加方式的结构设计有两个优点，一方面，它使得
华南理工大学硕士学位论文30图3-4各对比模型在亚马逊图书数据集上的AUC图3-5各对比模型在亚马逊电子数据集上的AUC影响。从用户偏好学习角度出发设计的DIN、DIEN和本章提出的LSTPN，展现出了更强的学习能力。DIN从激活和CTR预估商品相关的用户偏好出发进行设计，DIEN更进
【参考文献】：
期刊论文
[1]面向展示广告的点击率预测模型综述[J]. 刘梦娟,曾贵川,岳威,仇笠舟,王加昌. 计算机科学. 2019(07)
[2]注意力机制在深度学习中的研究进展[J]. 朱张莉,饶元,吴渊,祁江楠,张钰. 中文信息学报. 2019(06)
[3]基于融合结构的在线广告点击率预测模型[J]. 刘梦娟,曾贵川,岳威,刘瑶,秦志光. 计算机学报. 2019(07)
[4]基于FTRL优化算法的广告点击率预测模型研究[J]. 厍向阳,王邵鹏. 计算机工程与应用. 2019(14)
[5]结合注意力与卷积神经网络的中文摘要研究[J]. 周才东,曾碧卿,王盛玉,商齐. 计算机工程与应用. 2019(08)
[6]基于对抗训练策略的语言模型数据增强技术[J]. 张一珂,张鹏远,颜永红. 自动化学报. 2018(05)
[7]FM集成模型在广告点击率预估中的应用[J]. 潘博,张青川,于重重,谢小兰. 计算机应用与软件. 2018(01)
[8]基于伪数据的机器翻译质量估计模型的训练[J]. 吴焕钦,张红阳,李静梅,朱俊国,杨沐昀,李生. 北京大学学报(自然科学版). 2018(02)
[9]全卷积网络结合改进的条件随机场-循环神经网络用于SAR图像场景分类[J]. 汤浩,何楚. 计算机应用. 2016(12)
[10]面向运动目标检测的粒子滤波视觉注意力模型[J]. 刘龙,樊波阳,刘金星,杨乐超. 电子学报. 2016(09)
博士论文
[1]智能语音交互中的用户意图理解与反馈生成研究[D]. 宁义双.清华大学 2017
硕士论文
[1]一种基于深度偏好网络的点击率预估模型的设计与评价[D]. 王学斌.北京大学 2019
[2]基于深度神经网络的点击率预估模型[D]. 邱威.华南理工大学 2019
[3]基于RF、XGBoost和FFM集成的CTR预估[D]. 王雪萍.浙江大学 2018
[4]一种基于逻辑回归模型的搜索广告点击率预估方法的研究[D]. 王兵.浙江大学 2013
本文编号：3576924
本文链接：https://www.wllwen.com/jingjilunwen/xmjj/3576924.html
