基于深度学习的分类预测算法研究及实现

发布时间：2022-08-13 12:29

　　信息检索领域中的点击率预测和个性化推荐问题中存在大量多字段分类数据。这类型的数据主要呈现以下特征:有多个不同字段,且每个字段与其他字段间没有明确依赖关系。与图像和语音的连续数据不同,这类数据在处理之后通常具有高维稀疏性,且不同字段的特征之间存在组合关系。如何提取这种复杂的组合特征对于提升广告点击率预测与推荐系统的性能至关重要。传统的机器学习方法在处理这类问题时依赖繁琐且复杂的人工设计组合特征。深度学习凭借强大的表示学习能力,擅长学习高维数据中的复杂关系,可以用端到端的方式更好地提取高质量的特征。本文研究基于点击率预测的深度学习模型,并对其进行改进,设计了一种基于注意力机制的因子分解机模型和残差网络并行的网络结构,并在公开数据集上进行了验证。主要研究内容如下:（1）对宽深度模型Wide＆Deep及其变体进行研究及仿真。研究发现其核心思想都是通过融合线性模型和深度模型分别提取低阶和高阶的组合特征。通过实验,得出了这类模型目前存在的不足,为后续模型的优化提供研究思路。（2）为进一步提高宽深度模型对复杂组合特征提取的能力,本文设计并实现了因子分解机与残差网络并行的模型结构FM＆ResNet。模... 

【文章页数】：66 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 研究背景及意义
    1.2 点击率预测问题面临的挑战
        1.2.1 多字段分类数据的特点
        1.2.2 点击率预测问题的挑战
    1.3 国内外研究现状
        1.3.1 基于机器学习的点击率预测算法研究现状
        1.3.2 基于深度学习的点击率预测算法研究现状
    1.4 主要的研究内容
    1.5 本文结构安排
第二章 关键技术基础
    2.1 点击率预测问题建模
    2.2 特征工程
        2.2.1 数据预处理
        2.2.2 特征值处理
        2.2.3 组合特征
    2.3 深度学习相关技术介绍
        2.3.1 深度学习基本思想
        2.3.2 反向传播算法
        2.3.3 激活函数
        2.3.4 批标准化
        2.3.5 Dropout
    2.4 本章小结
第三章 基于深度学习的点击率预测算法研究
    3.1 基于公开数据集的实验设置
        3.1.1 公开数据集介绍
        3.1.2 数据预处理
        3.1.3 模型评价指标
    3.2 点击率预测问题的深度学习模型研究
        3.2.1 Wide&Deep模型
        3.2.2 DeepFM模型
        3.2.3 Deep & Cross模型
        3.2.4 模型实验结果
    3.3 模型对比分析
    3.4 本章小结
第四章 基于注意力机制的FM & ResNet模型研究
    4.1 改进模型的思想
        4.1.1 深度学习中的注意力机制
        4.1.2 残差网络
        4.1.3 基于注意力机制的FM&ResNet模型
    4.2 模型结构设计
        4.2.1 嵌入层表示
        4.2.2 因子分解机部分
        4.2.3 残差网络部分
        4.2.4 模型联合训练
    4.3 实验结果及分析
        4.3.1 基准模型
        4.3.2 性能对比
        4.3.3 超参数调优
    4.4 本章小结
第五章 基于注意力机制的FM & ResNet模型的应用
    5.1 基于FM&ResNet模型的短视频点击率预测
        5.1.1 问题描述
        5.1.2 实验环境
        5.1.3 短视频数据集介绍
    5.2 短视频数据集的特征工程
        5.2.1 数据预处理
        5.2.2 特征工程
    5.3 应用结果分析
    5.4 本章小结
第六章 总结与展望
    6.1 本文工作总结
    6.2 未来工作展望
参考文献
致谢
攻读学位期间取得的研究成果



本文编号：3677037