一种DSP广告点击率预测的研究与实现

发布时间：2020-06-06 18:12

【摘要】：随着程序化购买的模式日渐清晰与需求日益增大,需求方平台(DSP Demand-Side-Platform)发展非常迅速,近年来市场规模每年已达数百亿元,广告点击率预测作为需求方平台的核心技术之一,对提升需求方平台的竞争力起着关键作用。本文立足于DSP广告点击率预测的具体场景和需求,通过查阅大量相关文献,对点击率预测模型进行了深入分析,研究了谷歌、微软、脸书等大公司在广告点击率预测问题上采用的方案,重点参考了脸书提出的梯度提升决策树组合逻辑回归的模型~([1]),把逻辑回归替换为基于特征列的因子分解,得到一个新的预测模型:梯度提升决策树和基于特征列的因子分解的组合模型。通过梯度提升决策树对连续特征及选择性对部分原始特征进行转化生成新特征,很好地进行了特征组合并且避免过度拟合,而基于特征列的因子分解模型通过分解成多维空间,使模型的精确度更高。其次在庞大特征空间的问题上,针对单个特征采用卡方检验进行特征选择,以过滤一些对训练没有帮助的特征,从而降低特征空间以及提高训练数据的质量;同时使用散列技巧对卡方特征选择的结果进行降维,以达到一个在具体实现中可接受的量级。本文同时基于计算框架Spark对这一模型进行了实现,把整个实现过程分为4部分:梯度提升决策树部分对连续特征和部分类属特征进行特征组合生成新特征;基于特征列的因子分解预处理一阶段对连续特征进行压缩处理;而预处理阶段二实现卡方特征选择及散列技巧;最后将前3部分的特征合并对基于特征列的因子分解模型进行训练。大部分算法的实现都是基于Spark MLlib库,如梯度提升决策树、卡方特征等;而基于特征列的因子分解的算法实现借助于第三方扩展库。最后通过实验和其它几种常用模型的对比,论证了本文模型的有效性。
【图文】：

第一章 绪论究背景着互联网的发展，，互联网广告发展非常迅速，市场规模已达数千亿，美国市场 2006 年广告规模是 169 亿美元，而 2016 年增长到 725 亿长 329%[2]；中国在 2012 年以前，互联网广告市场还未成熟，主要断，2012 年年度互联网广告规模约 773 亿元，到 2016 年增长为5 年时间增长约 275.5%[3]，图 1-1 为中国近 5 年的广告规模增长络广告市场发展成熟，国内未来几年增速趋于平稳，预计 2019 年破 6000 亿元。说明互联网广告市场规模巨大，而且还在不断扩大

学工程硕士学位论文 ，为媒体提供一个实时拍卖的平台；DSP 服务于广告主，为广、出价、广告管理等功能。其主要思想是：DSP 通过分析评估告的价值，制定合适的出价，赢得流量的展示；ADX 接受不择胜出的广告进行展示。实时竞价过程如图 1-2：媒体网站的ADX 主要工作是流量拍卖，而 DSP 承载着广告定向、流量价算控制、广告显示频次等重要工作，因此 DSP 成为广告行业司作为互联网广告公司，也是在当时搭建起了自己的 DSP。多的发展，已经平稳下来，目前主流 DSP 的典型代表有品友 DSP，还有依附媒体的腾讯智汇通、新浪扶翼、Google 的 D Bid Manager）。
【学位授予单位】：上海交通大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：F713.8;O212.1

【相似文献】

相关期刊论文 前10条

1 王强;罗扬静;林桂先;;基于DSP的简易频率计设计[J];玉林师范学院学报;2019年02期

2 秦晓未;;DSP技术在雷达信号处理中的应用探究[J];信息记录材料;2019年10期

3 张攀;满绪民;田浩;;基于DSP的多功能自动旋转门设计[J];黑龙江科技信息;2016年35期

4 宋劲松;杨凯;;基于DSP和FPGA的数字信号处理系统设计[J];兰州文理学院学报(自然科学版);2017年01期

5 邹侃平;伍川辉;;基于DSP的动车组车内噪声主动控制系统设计[J];铁道科学与工程学报;2016年11期

6 梁磊;;基于DSP的远程视频监控系统研究[J];无线互联科技;2016年24期

7 刘金龙;;基于FPGA和DSP的视频处理系统分析[J];无线互联科技;2016年24期

8 李涛;杨成忠;;基于DSP的电动助力自行车控制系统设计[J];信息与电脑(理论版);2016年21期

9 凌晔华;;DSP直流电机调速系统研究[J];现代制造技术与装备;2016年12期

10 林献坤;余双;陶晨;;基于DSP的电动执行机构相序检测及缺相保护方法[J];测控技术;2017年02期

相关会议论文 前10条

1 马利东;厉伟;;基于DSP的绝缘子泄漏电流的在线监测系统设计[A];第十四届沈阳科学学术年会论文集（理工农医）[C];2017年

2 吴蕾;刘江峰;赵小林;;基于DSP电压互感器现场测试仪的设计与应用[A];ABB杯第三届全国自动化系统工程师论文大赛论文集[C];2008年

3 施礼;桂俊杰;;基于DSP技术的烤烟分级智能识别研究[A];中国烟草学会2011年学术年会优秀论文汇编[C];2011年

4 马曙光;胡绍民;徐攀;徐晓峰;;基于DSP的抖动偏频激光陀螺抖动控制器[A];第九届全国物理力学学术会议论文集[C];2009年

5 吴红飞;胡海兵;邢岩;;一种基于半实物仿真的DSP控制逆变器的实验方法[A];第6届全国高等学校电气工程及其自动化专业教学改革研讨会论文集（下册）[C];2009年

6 丁丽晶;李明伟;;采用DSP技术实现的超声波多普勒流量计[A];第十届全国信号处理学术年会（CCSP-2001）论文集[C];2001年

7 谭剑;葛临东;;全数字接收机中的关键技术及其DSP实现[A];第九届全国信号处理学术年会（CCSP-99）论文集[C];1999年

8 吴蒙;;DSP促进现代通信技术的发展[A];第十届全国信号处理学术年会（CCSP-2001）论文集[C];2001年

9 赵鑫;解梅;;基于DSP的虹膜识别系统[A];第七届全国信息获取与处理学术会议论文集[C];2009年

10 王东;张莉;;基于DSP的超级电容器串联均压控制系统的研究[A];第六届全国信息获取与处理学术会议论文集（3）[C];2008年

相关重要报纸文章 前4条

1 ;德州仪器为TD-SCDMA基站提供DSP[N];人民邮电;2003年

2 广州 秦福忠;一套实用的高保真DSP分频的2.1音响系统方案(二)[N];电子报;2019年

3 广州 秦福忠;一套实用的高保真DSP分频的2.1音响系统方案(一)[N];电子报;2019年

4 广州 秦福忠;超值低价的音响发烧利器——DSP001 DSP数字功放(上)[N];电子报;2016年

相关博士学位论文 前10条

1 卞斌;基于DSP平台的磁悬浮轴承数字控制系统[D];山东大学;2012年

2 张玉强;基于DSP的色散介质FDTD算法及相关问题研究[D];西安电子科技大学;2009年

3 赵丹培;频域下的目标跟踪方法及其在DSP中的实现[D];中国科学院研究生院（长春光学精密机械与物理研究所）;2006年

4 任坤;DSP编译器关键技术研究[D];浙江大学;2007年

5 孙科林;基于多核DSP的实时图像处理平台研究[D];电子科技大学;2012年

6 张兵;基于DSP的液压振动台功率谱复现研究[D];哈尔滨工业大学;2013年

7 汪东;异构多核DSP数据流前瞻关键技术研究[D];国防科学技术大学;2007年

8 张晓飞;基于DSP的红外焦平面阵列非均匀性校正技术研究[D];重庆大学;2002年

9 陈杰男;基于概率计算的无线通信DSP系统高效VLSI实现技术研究[D];电子科技大学;2014年

10 许志远;雾天降质图像增强方法研究及DSP实现[D];大连海事大学;2010年

相关硕士学位论文 前10条

1 贺鹏程;一种DSP广告点击率预测的研究与实现[D];上海交通大学;2018年

2 何双宗;基于多核DSP的可重构数字信号处理系统设计与实现[D];天津工业大学;2019年

3 李明召;基于DSP的数字式逆变电源的研究[D];河北科技大学;2019年

4 万方鹏;直接序列扩频信号检测与参数估计及DSP实现[D];哈尔滨工程大学;2019年

5 徐舒;基于DSP的战场声目标实时识别与定位技术研究与实现[D];安徽工业大学;2018年

6 杨熙;基于C#和DSP的核能谱模拟方法研究[D];成都理工大学;2018年

7 汪广;基于DSP的永磁无刷直流电机矢量控制系统的研究[D];湖南大学;2018年

8 闫文华;基于DSP的大功率三相有源功率因数校正系统的设计[D];兰州交通大学;2018年

9 魏民;基于多核DSP的MUSIC算法研究与实现[D];哈尔滨工程大学;2018年

10 胡晓磊;多核DSP调试代理与高速仿真器的设计与实现[D];北京化工大学;2018年

本文编号：2700066