交替反馈矩阵分解与两阶融合加速推荐算法研究
发布时间：2021-03-03 14:18
协同过滤模型作为推荐算法的一个分支,主要以基于模型的协同过滤推荐为核心。其中基于矩阵分解模型的协同过滤推荐的影响最深远。在传统的矩阵分解模型基础上,近年来提出了诸多改进方法综合利用评分矩阵与辅助信息对用户与项目建立基于矩阵分解的模型,提高推荐效果并挖掘有效的推荐依据。然而,辅助信息与评分矩阵数据类型不同且评分矩阵数据隐含大量潜在信息。当前对深层次挖掘评分矩阵潜在数据的类型与关联过程的研究较少,更少有模型关注矩阵分解会导致信息损失。针对上述问题本文提出一种基于特征重构的用户-项目交替反馈分解模型。该模型利用特征重构的思想,深层次的挖掘用户与项目之间的显性与隐性特征及其关联,并补偿矩阵分解数据损失问题。矩阵分解模型实现预测能力需要对模型的参数进行学习,矩阵分解模型的参数更新普遍采用基于梯度下降法的迭代学习法。然而,梯度下降法存在迭代效率低,导致矩阵分解模型的参数学习时间过长的问题。根据梯度下降法性质可知其误差曲线存在梯度逐渐变小的问题,会引发损失函数逼近最小误差时收敛速度放缓,且当误差越来越小时其收敛速度变得越来越缓慢。牛顿法相比梯度下降法因其二阶导数决定了梯度的下降方向,在收敛速度上存在...
【文章来源】：山东理工大学山东省
【文章页数】：65 页
【学位级别】：硕士
【部分图文】：
凸函数与非凸函数Fig.2.1Convexandnon-convexfunctions
162.2.2梯度下降梯度下降的定义是：考虑一个无约束的，平滑的凸优化问题。目标为：min()(2.22)其中函数()为凸函数，且在定义域()=上是可微的。则梯度下降算法需要选择一个初始点，初始点(0)∈。则梯度下降按照公式：()=(1)((1)),=1,2,3…(2.23)根据公式2.23重复计算直到达到需要的阈值点后停止。梯度下降法的本质就是沿梯度减小的方向前进，每次前进一定的步长，直到达到最优值点为止。在每一次梯度计算的迭代过程中，若对当前点做二阶泰勒展开式：()=()+()()+12‖‖2(2.24)这里用(1)代替了二次项系数海森矩阵2()。在选择下一个点=+用以最小化该二次近似值可以得到+=()。则梯度下降相当于在函数的每个点出做二次近似，然后求解最小点的位置。示例如下：图2.3梯度下降过程Fig.2.3Gradientdescentprocess梯度下降的每次迭代需要一个步长，这个步长的选择方法有多种。一种是简单的固定方法，即每次更新都移动常数距离。例如=,=1,2,3…。但这样的取值方式存在的问题是如果过大，梯度下降会发散而无法收敛，如果过小，梯度下降的收敛速度会很缓慢。只有的选择刚好时，才能兼顾收敛性与收敛速度。基于以上问题，提出了一种可以自适应的调整步长的方法，即回溯线性搜索。在回溯线性搜索中，首先需要固定两个参数为0<<1和0<≤12。之后再每次迭代中，给步长先设置一个初始化参数为,使得=。然后将以上参数带入参数更新公式：(())>()‖()‖2(2.25)更新完成后，将步长更新为=。重复以上步骤直到满足得到目标阈值。在山东理工大学硕士学位论文
17具体应用中为了方便计算，的值可以直接设为12。回溯线性搜索的示例图如下：图2.4回溯线性搜索过程Fig.2.4Backtrackinglinearsearchprocess梯度下降的收敛性是梯度下降是否收敛的判断指标。若已知()是凸函数，且在定义域()上是可微的。而且()是关于常数>0的利普希茨连续条件（或者满足二次微分条件：2()）。则收敛公式如下：‖()()‖2≤‖‖2,(2.26)那么，梯度下降有(1)的收敛率，其中k为迭代次数。即当完成(1)次迭代后，可以找到误差的次收敛点。如果函数()是严格凸函数。即存在>0,使得()(2)‖‖2是凸函数（或者满足二次微分条件2()）时，则收敛率将会达到指数收敛率()，其中0<<1。即在完成[(1)]次迭代后，可以找到误差的次收敛点。梯度下降法的优点也很突出。由于梯度的计算简单因此迭代速度比较快，且对于严格凸函数有非常快的收敛速度。缺点也非常明显，在实际问题中的目标函数往往并不是严格凸函数或者凸函数，因此梯度下降需要迭代很多次才能达到收敛点，且存在无法收敛的风险，同时若目标函数不可微则一定无法收敛。2.3牛顿法与拟牛顿法2.3.1牛顿法牛顿法是求解无约束最优化的常用方法。有收敛速度快的优势。牛顿法与梯度下降法都属于迭代算法，而牛顿法的每一步都需要求解目标函数的海森矩阵的逆矩阵，因此其算法复杂度相比梯度下降法高出许多。首先考虑一个无约束的最优化问题：min∈()(2.27)设为目标函数()的极小值。假设()具有二阶连续偏导数，若第次迭代值山东理工大学硕士学位论文
【参考文献】：
期刊论文
[1]一种基于协同上下文关系学习的同城活动推荐算法[J]. 赖奕安,张玉洁,杜雨露,孟祥武. 软件学报. 2020(02)
[2]基于LU分解和交替最小二乘法的分布式奇异值分解推荐算法[J]. 李琳,王培培,谷鹏,解庆. 模式识别与人工智能. 2020(01)
[3]融合商品潜在互补性发现的个性化推荐方法[J]. 邵英玮,张敏,马为之,王晨阳,刘奕群,马少平. 软件学报. 2020(04)
[4]基于注意力机制的规范化矩阵分解推荐算法[J]. 张青博,王斌,崔宁宁,宋晓旭,秦婧. 软件学报. 2020(03)
[5]融合显式反馈与隐式反馈的协同过滤推荐算法[J]. 陈碧毅,黄玲,王昌栋,景丽萍. 软件学报. 2020(03)
[6]一种潜在特征同步学习和偏好引导的推荐方法[J]. 李琳,朱阁,解庆,苏畅,杨征路. 软件学报. 2019(11)
[7]一种基于两阶段深度学习的集成推荐模型[J]. 王瑞琴,吴宗大,蒋云良,楼俊钢. 计算机研究与发展. 2019(08)
[8]融合SOM功能聚类与DeepFM质量预测的API服务推荐方法[J]. 曹步清,肖巧翔,张祥平,刘建勋. 计算机学报. 2019(06)
[9]基于网络表示学习的个性化商品推荐[J]. 李宇琦,陈维政,闫宏飞,李晓明. 计算机学报. 2019(08)
[10]一种基于矩阵分解的上下文感知POI推荐算法[J]. 彭宏伟,靳远远,吕晓强,王晓玲. 计算机学报. 2019(08)
本文编号：3061414
【文章来源】：山东理工大学山东省
【文章页数】：65 页
【学位级别】：硕士
【部分图文】：
凸函数与非凸函数Fig.2.1Convexandnon-convexfunctions
162.2.2梯度下降梯度下降的定义是：考虑一个无约束的，平滑的凸优化问题。目标为：min()(2.22)其中函数()为凸函数，且在定义域()=上是可微的。则梯度下降算法需要选择一个初始点，初始点(0)∈。则梯度下降按照公式：()=(1)((1)),=1,2,3…(2.23)根据公式2.23重复计算直到达到需要的阈值点后停止。梯度下降法的本质就是沿梯度减小的方向前进，每次前进一定的步长，直到达到最优值点为止。在每一次梯度计算的迭代过程中，若对当前点做二阶泰勒展开式：()=()+()()+12‖‖2(2.24)这里用(1)代替了二次项系数海森矩阵2()。在选择下一个点=+用以最小化该二次近似值可以得到+=()。则梯度下降相当于在函数的每个点出做二次近似，然后求解最小点的位置。示例如下：图2.3梯度下降过程Fig.2.3Gradientdescentprocess梯度下降的每次迭代需要一个步长，这个步长的选择方法有多种。一种是简单的固定方法，即每次更新都移动常数距离。例如=,=1,2,3…。但这样的取值方式存在的问题是如果过大，梯度下降会发散而无法收敛，如果过小，梯度下降的收敛速度会很缓慢。只有的选择刚好时，才能兼顾收敛性与收敛速度。基于以上问题，提出了一种可以自适应的调整步长的方法，即回溯线性搜索。在回溯线性搜索中，首先需要固定两个参数为0<<1和0<≤12。之后再每次迭代中，给步长先设置一个初始化参数为,使得=。然后将以上参数带入参数更新公式：(())>()‖()‖2(2.25)更新完成后，将步长更新为=。重复以上步骤直到满足得到目标阈值。在山东理工大学硕士学位论文
17具体应用中为了方便计算，的值可以直接设为12。回溯线性搜索的示例图如下：图2.4回溯线性搜索过程Fig.2.4Backtrackinglinearsearchprocess梯度下降的收敛性是梯度下降是否收敛的判断指标。若已知()是凸函数，且在定义域()上是可微的。而且()是关于常数>0的利普希茨连续条件（或者满足二次微分条件：2()）。则收敛公式如下：‖()()‖2≤‖‖2,(2.26)那么，梯度下降有(1)的收敛率，其中k为迭代次数。即当完成(1)次迭代后，可以找到误差的次收敛点。如果函数()是严格凸函数。即存在>0,使得()(2)‖‖2是凸函数（或者满足二次微分条件2()）时，则收敛率将会达到指数收敛率()，其中0<<1。即在完成[(1)]次迭代后，可以找到误差的次收敛点。梯度下降法的优点也很突出。由于梯度的计算简单因此迭代速度比较快，且对于严格凸函数有非常快的收敛速度。缺点也非常明显，在实际问题中的目标函数往往并不是严格凸函数或者凸函数，因此梯度下降需要迭代很多次才能达到收敛点，且存在无法收敛的风险，同时若目标函数不可微则一定无法收敛。2.3牛顿法与拟牛顿法2.3.1牛顿法牛顿法是求解无约束最优化的常用方法。有收敛速度快的优势。牛顿法与梯度下降法都属于迭代算法，而牛顿法的每一步都需要求解目标函数的海森矩阵的逆矩阵，因此其算法复杂度相比梯度下降法高出许多。首先考虑一个无约束的最优化问题：min∈()(2.27)设为目标函数()的极小值。假设()具有二阶连续偏导数，若第次迭代值山东理工大学硕士学位论文
【参考文献】：
期刊论文
[1]一种基于协同上下文关系学习的同城活动推荐算法[J]. 赖奕安,张玉洁,杜雨露,孟祥武. 软件学报. 2020(02)
[2]基于LU分解和交替最小二乘法的分布式奇异值分解推荐算法[J]. 李琳,王培培,谷鹏,解庆. 模式识别与人工智能. 2020(01)
[3]融合商品潜在互补性发现的个性化推荐方法[J]. 邵英玮,张敏,马为之,王晨阳,刘奕群,马少平. 软件学报. 2020(04)
[4]基于注意力机制的规范化矩阵分解推荐算法[J]. 张青博,王斌,崔宁宁,宋晓旭,秦婧. 软件学报. 2020(03)
[5]融合显式反馈与隐式反馈的协同过滤推荐算法[J]. 陈碧毅,黄玲,王昌栋,景丽萍. 软件学报. 2020(03)
[6]一种潜在特征同步学习和偏好引导的推荐方法[J]. 李琳,朱阁,解庆,苏畅,杨征路. 软件学报. 2019(11)
[7]一种基于两阶段深度学习的集成推荐模型[J]. 王瑞琴,吴宗大,蒋云良,楼俊钢. 计算机研究与发展. 2019(08)
[8]融合SOM功能聚类与DeepFM质量预测的API服务推荐方法[J]. 曹步清,肖巧翔,张祥平,刘建勋. 计算机学报. 2019(06)
[9]基于网络表示学习的个性化商品推荐[J]. 李宇琦,陈维政,闫宏飞,李晓明. 计算机学报. 2019(08)
[10]一种基于矩阵分解的上下文感知POI推荐算法[J]. 彭宏伟,靳远远,吕晓强,王晓玲. 计算机学报. 2019(08)
本文编号：3061414
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3061414.html
最近更新
教材专著
