深度生成模型的学习算法及其在推荐系统中的应用研究
发布时间：2022-02-15 21:47
生成模型是机器学习中重要的无监督学习方法,能够以概率分布形式刻画数据中的隐含特征。随着大数据时代的到来,深度学习方法在诸如自然图像等复杂数据场景中取得了令人瞩目的成果。深度生成模型结合了深度学习的表示能力和生成模型的统计理论基础,具有诸多优点,例如能够建模复杂形态数据的概率分布、能够回答复杂数据中的推断问题、具备良好的泛化能力等,因而受到了学者们广泛的关注。然而,由于深度生成模型通常包含复杂的神经网络结构,其学习和推断方法面临着很多挑战:如何建模深度生成模型的模型不确定性;如何引入模型先验知识;如何防止深度生成模型过拟合;如何对其隐含特征进行快速推断;如何学习没有显式定义似然函数的隐式深度生成模型;如何解决隐式深度生成模型学习中常见的模态坍缩问题等。本文针对上述深度生成模型学习算法的挑战,从建模模型不确定性、提升样本多样性等角度展开理论研究,并探索其在推荐系统场景中的应用价值。本文的主要贡献如下:1.提出双随机梯度马尔可夫链蒙特卡洛算法,对显式深度生成模型参数进行（近似）贝叶斯推断,以建模模型不确定性,防止模型过拟合。创新性地提出了神经自适应重要性采样方法,引入提议分布近似模型隐含变量...
【文章来源】：清华大学北京市211工程院校985工程院校教育部直属院校
【文章页数】：115 页
【学位级别】：博士
【文章目录】：
摘要
abstract
主要符号对照表
第1章 引言
1.1 研究背景及意义
1.1.1 深度生成模型
1.1.2 推荐系统
1.2 研究现状及难点
1.2.1 相关工作介绍
1.2.2 研究难点及挑战
1.3 研究内容及主要贡献
1.4 论文组织
第2章 背景知识
2.1 参数估计方法
2.1.1 最大似然估计
2.1.2 最大后验估计
2.1.3 后验均值估计
2.2 贝叶斯推断方法
2.2.1 变分推断方法
2.2.2 马尔可夫链蒙特卡洛方法
2.3 随机优化方法
2.3.1 随机梯度下降算法
2.3.2 Adam优化算法
2.4 本章小结
第3章 双随机梯度马尔可夫链蒙特卡洛算法
3.1 研究动机
3.2 显式深度生成模型及其贝叶斯推断
3.2.1 显式深度生成模型的定义
3.2.2 显式深度生成模型的学习
3.3 双随机梯度马尔可夫链蒙特卡洛算法
3.3.1 参数空间的随机梯度马尔可夫链蒙特卡洛采样
3.3.2 样本似然梯度估计——吉布斯采样
3.3.3 样本似然梯度估计——神经自适应重要性采样
3.3.4 完整算法
3.4 实验结果与分析
3.4.1 实验设置
3.4.2 离散型隐含变量模型的学习
3.4.3 连续型隐含变量模型的学习
3.4.4 效率分析
3.5 本章小结
第4章 基于指导显式模型的隐式深度生成模型学习算法
4.1 研究动机
4.2 隐式深度生成模型
4.2.1 隐式深度生成模型的定义
4.2.2 模态坍缩问题
4.3 基于指导显式模型的学习算法
4.3.1 隐式深度生成模型的最大似然估计
4.3.2 结合生成式对抗网络的LBT算法
4.3.3 基于梯度展开技术的优化算法
4.4 实验结果与分析
4.4.1 人工合成数据集
4.4.2 三通道层叠的MNIST手写数字数据集
4.4.3 自然图像数据集
4.4.4 敏感度分析
4.5 本章小结
第5章 基于用户-对象共自回归模型的协同过滤推荐算法
5.1 研究动机
5.2 基于用户-对象共自回归的协同过滤模型
5.2.1 协同过滤推荐
5.2.2 相关性的显式建模
5.2.3 用户行为排序
5.3 快速学习算法
5.4 实验结果与分析
5.4.1 评分预测任务
5.4.2 对象推荐任务
5.4.3 模型参数可视化
5.4.4 效率分析
5.5 本章小结
第6章 总结与展望
6.1 本文总结
6.2 未来工作展望
参考文献
致谢
个人简历、在学期间发表的学术论文与研究成果
本文编号：3627325
【文章来源】：清华大学北京市211工程院校985工程院校教育部直属院校
【文章页数】：115 页
【学位级别】：博士
【文章目录】：
摘要
abstract
主要符号对照表
第1章 引言
1.1 研究背景及意义
1.1.1 深度生成模型
1.1.2 推荐系统
1.2 研究现状及难点
1.2.1 相关工作介绍
1.2.2 研究难点及挑战
1.3 研究内容及主要贡献
1.4 论文组织
第2章 背景知识
2.1 参数估计方法
2.1.1 最大似然估计
2.1.2 最大后验估计
2.1.3 后验均值估计
2.2 贝叶斯推断方法
2.2.1 变分推断方法
2.2.2 马尔可夫链蒙特卡洛方法
2.3 随机优化方法
2.3.1 随机梯度下降算法
2.3.2 Adam优化算法
2.4 本章小结
第3章 双随机梯度马尔可夫链蒙特卡洛算法
3.1 研究动机
3.2 显式深度生成模型及其贝叶斯推断
3.2.1 显式深度生成模型的定义
3.2.2 显式深度生成模型的学习
3.3 双随机梯度马尔可夫链蒙特卡洛算法
3.3.1 参数空间的随机梯度马尔可夫链蒙特卡洛采样
3.3.2 样本似然梯度估计——吉布斯采样
3.3.3 样本似然梯度估计——神经自适应重要性采样
3.3.4 完整算法
3.4 实验结果与分析
3.4.1 实验设置
3.4.2 离散型隐含变量模型的学习
3.4.3 连续型隐含变量模型的学习
3.4.4 效率分析
3.5 本章小结
第4章 基于指导显式模型的隐式深度生成模型学习算法
4.1 研究动机
4.2 隐式深度生成模型
4.2.1 隐式深度生成模型的定义
4.2.2 模态坍缩问题
4.3 基于指导显式模型的学习算法
4.3.1 隐式深度生成模型的最大似然估计
4.3.2 结合生成式对抗网络的LBT算法
4.3.3 基于梯度展开技术的优化算法
4.4 实验结果与分析
4.4.1 人工合成数据集
4.4.2 三通道层叠的MNIST手写数字数据集
4.4.3 自然图像数据集
4.4.4 敏感度分析
4.5 本章小结
第5章 基于用户-对象共自回归模型的协同过滤推荐算法
5.1 研究动机
5.2 基于用户-对象共自回归的协同过滤模型
5.2.1 协同过滤推荐
5.2.2 相关性的显式建模
5.2.3 用户行为排序
5.3 快速学习算法
5.4 实验结果与分析
5.4.1 评分预测任务
5.4.2 对象推荐任务
5.4.3 模型参数可视化
5.4.4 效率分析
5.5 本章小结
第6章 总结与展望
6.1 本文总结
6.2 未来工作展望
参考文献
致谢
个人简历、在学期间发表的学术论文与研究成果
本文编号：3627325
本文链接：https://www.wllwen.com/shoufeilunwen/xxkjbs/3627325.html
