基于深度学习的广告点击预测研究
发布时间：2021-11-22 09:30
广告点击事件的准确预测是实时竞价算法中的重要因素之一,关系着广告主的成本与收益。当前在线广告的业务场景下,数据规模巨大且具有高维、非线性、稀疏性等特点,如何高效地设计算法以减少迭代是优化算法中要考虑的关键因素。同时,深度学习也为大规模非线性特征的学习及预测提供了有效手段。针对上述问题,本文将主要分为两部分来开展对广告点击预测算法的研究工作。（1）在研究FTRL（Follow-the-regularized-Leader）优化算法的基础上,提出了基于FTRL优化算法的因子分解机模型。在特征提取阶段,使用基于梯度提升决策树算法的特征提取代替了人工特征提取。FTRL算法在梯度下降算法的基础上进行改进,加入了混合正则项防止过拟合,在保持梯度下降类算法高精确度的同时提高了稀疏性。因子分解机可以更好地学习到互异特征分量之间的关系,比传统逻辑回归更有效。实验结果显示,改进后的算法有效地提高了广告点击事件的预测准确率。（2）针对人工特征提取费时费力、浅层模型无法充分考虑到数据之间的非线性关系等问题,提出一种基于 CNN（Convolutional Neural Networks）-LSTM（Long ...
【文章来源】：西安科技大学陕西省
【文章页数】：53 页
【学位级别】：硕士
【部分图文】：
RTB广告生态系统工作流程
告的业务场景下，线性模型没有充分考虑到数据高维、些问题，引入了基于梯度提升决策树算法的特征提取方e-regularized-Leader)优化算法的因子分解机模型。FTR之间存在的非线性关系，使不同参数可以自适应不同学模型，防止过拟合。实验验证：基于 FTRL 优化算法的精确度。化算法在 FTL(Follow-the-Leader)算法的的基础上加入了正则项损失函数之和，且使模型得到的解更稀疏、更平滑。F切算法(Forward-Backward Splitting, FOBOS)与正则al Averaging, RDA)，有效地提高了模型的精度。其与梯S 算法、RDA 算法的关系如图 3.1 所示。
偏置；cw 、cu 、cb 表示细胞状态的权值参数和偏置；ow 、ou 、ob 表示遗忘门的权数和偏置。.2 算法设计.2.1 基本思想CNN-LSTM 混合神经网络分为三层结构。第一层：将原始特征去重、去除长尾数据后进行独热向量编码，使其映射到 k 维中，k 为编码后的向量维度，最后取其不为 0 的索引值作为新特征。例如，独热向码为[0,0,1,0,1,0]，不为 0 的索引值为第 2 位与第 4 位，则新特征为[2,4]。第二层：将新特征输入卷积神经网络，设置若干卷积层和池化层，并加入 Drop随机选择隐藏层的部分节点，防止过拟合。通过卷积核滑动和权值共享获得局部感中特征间的关系，提取高影响力的特征。第三层：将 CNN 的输出作为 LSTM 神经网络的输入，使用分层的 LSTM 进行分到预测值，如图 4.8 所示。
【参考文献】：
期刊论文
[1]卷积神经网络研究综述[J]. 周飞燕,金林鹏,董军. 计算机学报. 2017(06)
[2]互联网广告点击率预估模型中特征提取方法的研究与实现[J]. 田嫦丽,张珣,潘博,杨超,许彦茹. 计算机应用研究. 2017(02)
[3]基于特征学习的广告点击率预估技术研究[J]. 张志强,周永,谢晓芹,潘海为. 计算机学报. 2016(04)
[4]深度学习的昨天、今天和明天[J]. 余凯,贾磊,陈雨强,徐伟. 计算机研究与发展. 2013(09)
[5]广告点击率估算技术综述[J]. 纪文迪,王晓玲,周傲英. 华东师范大学学报(自然科学版). 2013(03)
[6]RTB:广告购买钱规则[J]. 朱珊. 成功营销. 2013(02)
[7]深度学习研究综述[J]. 孙志军,薛磊,许阳明,王正. 计算机应用研究. 2012(08)
[8]计算广告:以数据为核心的Web综合应用[J]. 周傲英,周敏奇,宫学庆. 计算机学报. 2011(10)
硕士论文
[1]基于递归神经网络的广告点击率预估[D]. 余仕敏.浙江理工大学 2016
[2]基于深度学习的搜索广告点击率预测方法研究[D]. 李思琴.哈尔滨工业大学 2015
[3]在线广告DSP平台实时竞价算法的研究与实现[D]. 韩静（Jim Han）.上海交通大学 2015
本文编号：3511414
【文章来源】：西安科技大学陕西省
【文章页数】：53 页
【学位级别】：硕士
【部分图文】：
RTB广告生态系统工作流程
告的业务场景下，线性模型没有充分考虑到数据高维、些问题，引入了基于梯度提升决策树算法的特征提取方e-regularized-Leader)优化算法的因子分解机模型。FTR之间存在的非线性关系，使不同参数可以自适应不同学模型，防止过拟合。实验验证：基于 FTRL 优化算法的精确度。化算法在 FTL(Follow-the-Leader)算法的的基础上加入了正则项损失函数之和，且使模型得到的解更稀疏、更平滑。F切算法(Forward-Backward Splitting, FOBOS)与正则al Averaging, RDA)，有效地提高了模型的精度。其与梯S 算法、RDA 算法的关系如图 3.1 所示。
偏置；cw 、cu 、cb 表示细胞状态的权值参数和偏置；ow 、ou 、ob 表示遗忘门的权数和偏置。.2 算法设计.2.1 基本思想CNN-LSTM 混合神经网络分为三层结构。第一层：将原始特征去重、去除长尾数据后进行独热向量编码，使其映射到 k 维中，k 为编码后的向量维度，最后取其不为 0 的索引值作为新特征。例如，独热向码为[0,0,1,0,1,0]，不为 0 的索引值为第 2 位与第 4 位，则新特征为[2,4]。第二层：将新特征输入卷积神经网络，设置若干卷积层和池化层，并加入 Drop随机选择隐藏层的部分节点，防止过拟合。通过卷积核滑动和权值共享获得局部感中特征间的关系，提取高影响力的特征。第三层：将 CNN 的输出作为 LSTM 神经网络的输入，使用分层的 LSTM 进行分到预测值，如图 4.8 所示。
【参考文献】：
期刊论文
[1]卷积神经网络研究综述[J]. 周飞燕,金林鹏,董军. 计算机学报. 2017(06)
[2]互联网广告点击率预估模型中特征提取方法的研究与实现[J]. 田嫦丽,张珣,潘博,杨超,许彦茹. 计算机应用研究. 2017(02)
[3]基于特征学习的广告点击率预估技术研究[J]. 张志强,周永,谢晓芹,潘海为. 计算机学报. 2016(04)
[4]深度学习的昨天、今天和明天[J]. 余凯,贾磊,陈雨强,徐伟. 计算机研究与发展. 2013(09)
[5]广告点击率估算技术综述[J]. 纪文迪,王晓玲,周傲英. 华东师范大学学报(自然科学版). 2013(03)
[6]RTB:广告购买钱规则[J]. 朱珊. 成功营销. 2013(02)
[7]深度学习研究综述[J]. 孙志军,薛磊,许阳明,王正. 计算机应用研究. 2012(08)
[8]计算广告:以数据为核心的Web综合应用[J]. 周傲英,周敏奇,宫学庆. 计算机学报. 2011(10)
硕士论文
[1]基于递归神经网络的广告点击率预估[D]. 余仕敏.浙江理工大学 2016
[2]基于深度学习的搜索广告点击率预测方法研究[D]. 李思琴.哈尔滨工业大学 2015
[3]在线广告DSP平台实时竞价算法的研究与实现[D]. 韩静（Jim Han）.上海交通大学 2015
本文编号：3511414
本文链接：https://www.wllwen.com/jingjilunwen/guojimaoyilunwen/3511414.html
