基于深度学习的CTR预估算法研究
发布时间：2021-04-26 14:24
互联网广告已经成为了互联网公司的主要收入来源,而其中广告点击率的预估是最重要的工作,提高广告点击率的准确率能直接为公司带来收入。广告日志数据和图像或者音频的连续特征不同,广告数据是离散的,高维的,他们之间的依赖性很小。目前像百度、谷歌等公司主流的方法是线性模型加大量的人工特征,而这种方法越来越难以为继,因为大量的手工特征需要耗费大量的人力,而收益提升不大,原因是这些特征线性模型不能学到特征之间的非线性关系。采用常规的深度学习模型,由于输入的特征的超大空间导致大量的计算,导致深度学习网络无法收敛。为了解决上述的问题,本文提出了一种新的深度学习模型,能够处理大量稀疏数据,并能够有效地学习到数据中的非线性特征,大规模实验和真实的数据表明本文提出的模型能够显著提高准确率和召回率。本文的研究工作集中在以下四个方面:第一:改进数据嵌入算法,针对真实数据ID类数据特别多的特点,研究改进嵌入算法,使得原始数据在经过嵌入算法后不会出现损失,并且降低输入向量的维度,使得深度学习可以处理。第二:改进深度学习模型BFNN（Boosting tree Factorization-machine supporte...
【文章来源】：北京工业大学北京市 211工程院校
【文章页数】：82 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第1章 绪论
1.1 研究的背景和意义
1.2 国内外研究现状
1.2.1 国内研究现状
1.2.2 国外研究现状
1.3 本文的主要研究内容
1.4 本文的章节安排
第2章 广告点击率预估关键技术
2.1 引言
2.2 对广告点击率建立数学模型
2.3 机器学习相关知识
2.3.1 逻辑回归算法
2.3.2 提升树算法
2.4 因式分解机
2.5 深度神经网络
2.6 过拟合和正则化
2.6.1 L2范数
2.6.2 Dropout
2.7 激活函数
2.7.1 Sigmoid函数
2.7.2 线性整流函数
2.8 评价方法
2.8.1 AUC
2.8.2 logloss
2.9 数据标准化
2.10 本章小结
第3章 嵌入算法研究
3.1 引言
3.2 数值型数据的嵌入算法
3.3 类别型数据嵌入算法
3.3.1 改进模型的优化算法
3.3.2 算法复杂度分析
3.4 嵌入层算法的实现
3.5 本章小结
第4章 改进深度学习算法
4.1 引言
4.2 改进反向传播算法
4.3 改进深度神经网络结构
4.4 改进深度神经网络激活函数
4.5 改进深度学习正则化方法
4.6 基于BFNN的广告点击率预测
4.7 本章小结
第5章 实验设计和特征工程
5.1 引言
5.2 数据来源和数据分析
5.3 浅层模型的特征工程
5.3.1 数据清洗
5.3.2 编码及归一化
5.4 深度学习的特征工程
5.4.1 处理数值型数据
5.4.2 处理类别型数据
5.4.3 处理One-hot类型数据
5.5 逻辑回归模型的实验设计
5.6 基于BFNN的实验设计
5.7 验证BFNN模型有效性实验设计
5.8 本章小结
第6章 实验结果分析
6.1 引言
6.2 实验环境
6.3 浅层模型和深度学习实验对比
6.3.1 参数设置
6.3.2 实验结果对比
6.3.3 试验结论
6.4 BFNN和其他深度学习模型对比
6.4.1 用于CTR的深度学习模型
6.4.2 实验结果
6.4.3 实验结论
6.5 BFNN模型有效性实验分析
6.5.1 激活函数的影响研究
6.5.2 对于神经网络结构的对比试验
6.5.3 正则化方法分析
6.5.4 dropout敏感性分析
6.6 本章小结
结论
参考文献
攻读硕士学位期间取得的研究成果
致谢
【参考文献】：
期刊论文
[1]面向自然语言处理的深度学习研究[J]. 奚雪峰,周国栋. 自动化学报. 2016(10)
[2]用于微博情感分析的一种情感语义增强的深度学习模型[J]. 何炎祥,孙松涛,牛菲菲,李飞. 计算机学报. 2017(04)
[3]大数据分析的无限深度神经网络方法[J]. 张蕾,章毅. 计算机研究与发展. 2016(01)
[4]基于特征学习的广告点击率预估技术研究[J]. 张志强,周永,谢晓芹,潘海为. 计算机学报. 2016(04)
[5]基于卷积神经网络的搜索广告点击率预测[J]. 李思琴,林磊,孙承杰. 智能计算机与应用. 2015(05)
[6]基于LDA的互联网广告点击率预测研究[J]. 朱志北,李斌,刘学军,胡平. 计算机应用研究. 2016(04)
[7]基于稀疏特征的交通流视频检测算法[J]. 张鹏,黄毅,阮雅端,陈启美. 南京大学学报(自然科学). 2015(02)
[8]基于深度自编码网络的运动目标检测[J]. 徐培,蔡小路,何文伟,谢易道. 计算机应用. 2014(10)
[9]深度学习的昨天、今天和明天[J]. 余凯,贾磊,陈雨强,徐伟. 计算机研究与发展. 2013(09)
硕士论文
[1]基于深度学习的CTR预测研究[D]. 寇茜茜.重庆工商大学 2017
[2]基于递归神经网络的广告点击率预估[D]. 余仕敏.浙江理工大学 2016
本文编号：3161569
【文章来源】：北京工业大学北京市 211工程院校
【文章页数】：82 页
【学位级别】：硕士
【文章目录】：
摘要
Abstract
第1章 绪论
1.1 研究的背景和意义
1.2 国内外研究现状
1.2.1 国内研究现状
1.2.2 国外研究现状
1.3 本文的主要研究内容
1.4 本文的章节安排
第2章 广告点击率预估关键技术
2.1 引言
2.2 对广告点击率建立数学模型
2.3 机器学习相关知识
2.3.1 逻辑回归算法
2.3.2 提升树算法
2.4 因式分解机
2.5 深度神经网络
2.6 过拟合和正则化
2.6.1 L2范数
2.6.2 Dropout
2.7 激活函数
2.7.1 Sigmoid函数
2.7.2 线性整流函数
2.8 评价方法
2.8.1 AUC
2.8.2 logloss
2.9 数据标准化
2.10 本章小结
第3章 嵌入算法研究
3.1 引言
3.2 数值型数据的嵌入算法
3.3 类别型数据嵌入算法
3.3.1 改进模型的优化算法
3.3.2 算法复杂度分析
3.4 嵌入层算法的实现
3.5 本章小结
第4章 改进深度学习算法
4.1 引言
4.2 改进反向传播算法
4.3 改进深度神经网络结构
4.4 改进深度神经网络激活函数
4.5 改进深度学习正则化方法
4.6 基于BFNN的广告点击率预测
4.7 本章小结
第5章 实验设计和特征工程
5.1 引言
5.2 数据来源和数据分析
5.3 浅层模型的特征工程
5.3.1 数据清洗
5.3.2 编码及归一化
5.4 深度学习的特征工程
5.4.1 处理数值型数据
5.4.2 处理类别型数据
5.4.3 处理One-hot类型数据
5.5 逻辑回归模型的实验设计
5.6 基于BFNN的实验设计
5.7 验证BFNN模型有效性实验设计
5.8 本章小结
第6章 实验结果分析
6.1 引言
6.2 实验环境
6.3 浅层模型和深度学习实验对比
6.3.1 参数设置
6.3.2 实验结果对比
6.3.3 试验结论
6.4 BFNN和其他深度学习模型对比
6.4.1 用于CTR的深度学习模型
6.4.2 实验结果
6.4.3 实验结论
6.5 BFNN模型有效性实验分析
6.5.1 激活函数的影响研究
6.5.2 对于神经网络结构的对比试验
6.5.3 正则化方法分析
6.5.4 dropout敏感性分析
6.6 本章小结
结论
参考文献
攻读硕士学位期间取得的研究成果
致谢
【参考文献】：
期刊论文
[1]面向自然语言处理的深度学习研究[J]. 奚雪峰,周国栋. 自动化学报. 2016(10)
[2]用于微博情感分析的一种情感语义增强的深度学习模型[J]. 何炎祥,孙松涛,牛菲菲,李飞. 计算机学报. 2017(04)
[3]大数据分析的无限深度神经网络方法[J]. 张蕾,章毅. 计算机研究与发展. 2016(01)
[4]基于特征学习的广告点击率预估技术研究[J]. 张志强,周永,谢晓芹,潘海为. 计算机学报. 2016(04)
[5]基于卷积神经网络的搜索广告点击率预测[J]. 李思琴,林磊,孙承杰. 智能计算机与应用. 2015(05)
[6]基于LDA的互联网广告点击率预测研究[J]. 朱志北,李斌,刘学军,胡平. 计算机应用研究. 2016(04)
[7]基于稀疏特征的交通流视频检测算法[J]. 张鹏,黄毅,阮雅端,陈启美. 南京大学学报(自然科学). 2015(02)
[8]基于深度自编码网络的运动目标检测[J]. 徐培,蔡小路,何文伟,谢易道. 计算机应用. 2014(10)
[9]深度学习的昨天、今天和明天[J]. 余凯,贾磊,陈雨强,徐伟. 计算机研究与发展. 2013(09)
硕士论文
[1]基于深度学习的CTR预测研究[D]. 寇茜茜.重庆工商大学 2017
[2]基于递归神经网络的广告点击率预估[D]. 余仕敏.浙江理工大学 2016
本文编号：3161569
本文链接：https://www.wllwen.com/jingjilunwen/guojimaoyilunwen/3161569.html
