推广动量加速非负隐特征分析模型的收敛性能研究
发布时间：2021-03-29 23:13
大数据时代,许多工业应用需要经常处理大量实体及其对应的高维关系,其中涉及的实体数量呈爆炸式增长,由于它们之间的关系不能完全被观察到,在实际中人们常采用高维稀疏矩阵来描述这种关系。虽然高维稀疏矩阵极度稀疏,但是它们包含了大量非常有价值的知识,为了从中提取出这些有价值的知识,研究者们提出了快速非负隐特征分析模型。快速非负隐特征分析模型在非负乘法更新算法的基础上兼容了推广动量方法,较非负隐特征分析模型,它能更快地从高维稀疏矩阵中抽取隐特征,具有较好的收敛效果。但是,推广动量方法加速非负隐特征分析模型的收敛性能的机制尚未明确。因此,本文旨在揭示推广动量方法如何加速非负隐特征分析模型的收敛性能。主要工作和创新点如下:（1）类比快速隐特征分析模型的单元素隐特征依赖非负乘法更新兼容动量算法和牛顿方程,证明了其动量项等效于牛顿方程中的质量项。对牛顿方程粒子化,然后对比分析有质量粒子和无质量粒子的两种情况,类比分析无质量粒子的牛顿方程与采用梯度下降方法的附加梯度下降算法,进一步推导出了学习率ηu,k与摩擦系数m和质量m的关系。（2）根据李雅普诺夫函数的定义,明确了通过能量守恒定律建...
【文章来源】：西华师范大学四川省
【文章页数】：65 页
【学位级别】：硕士
【部分图文】：
HiDS矩阵示意图
推广动量加速非负隐特征分析模型概述8由此，我们得到其LFA模型的原理如下图2.2所示：图2-2隐特征分析模型原理示意图Fig.2-2Schematicdiagramoflatentfactormodelanalysismodel在定义2.2中，f代表HiDS矩阵映射在隐特征空间的维度，X和Y分别表示基于HiDS矩阵的已知数据集Λ构建的反映了用户集（U）和项目集（I）的LF矩阵。为了获得LF矩阵X和Y，基于HiDS矩阵中的已知数据集Λ构建了目标函数来衡量原始数据Z和由两个LF矩阵X、Y低秩近似得到的之间的差值。在抽取HiDS矩阵的LFs时，常采用欧氏距离[35][36][37]作为判断真实值与预测值之间误差的度量方法，由此得到LFA模型的目标函数如下：,2,,,,11argmin,,2..,,{1,2,...,}uifuiukikXYzkXYzxystuUiIkf(2-1)其中，zu,i表示HiDS矩阵Z中第u行第i列的值，例如在推荐系统中，用户u对项目i的评分值zu,i。xu,k和yi,k分别表示两个实体集U和I对应的LF矩阵X和Y的隐特征值，其中k{1-f}。根据定义2.2可知：,,,1fuiukikkzxyt”(2-2)其中，u,i为原始数据中真实值zu,i对应的预测值，表示由相应的两个隐特征矩阵X和Y中的第u行和第i行相乘得到的预测值。因为工业数据集稀的疏度不同，直接最小化目标函数式（2-1）常常会遇见过拟合现象，为防止模型过拟合，常采用Tikhonov正则化方法[38][39][40]约束目标函数。结合式（2-1）和式（2-2）与Tikhonov正则化方法，得到目标函数：,,222,,,.,.22,222,,,,111argmin,21,2..,,{1,2,...,}uiuiuiuiXuYiXYzffuiuiXukYikzkkXYzzXYzzxystuUiIkf(2-3)
推广动量加速非负隐特征分析模型概述13图2-3梯度下降算法算法的原理示意图Fig.2-3Schematicdiagramoftheadditivegradientdescentalgorithm随着AGD算法的盛行，许多学者针对AGD算法作出了优化[46][47][48]。经典动量方法至1962年提出以来，成为了AGD算法的一种重要的扩展算法。“动量”的概念起源于物理学[50][51]，是一个与物理概念中质量和速度相关的物理量，通常指在运动时物体的作用效果。在经典动量方法中可以将“动量”理解为“惯性”，由于惯性的存在，当人们跑起来时会比刚开始加速起跑时更为轻松，同样地，当人们跑过头了，想调头往回跑时，惯性会阻碍你，减小你回跑速度。所以，加入经典动量方法的AGD算法，当它们方向相同时，动量会加速梯度的下降速度，相反则减速。动量减少了AGD算法收敛过程的震荡，提高了其收敛速度和精度。如经典动量梯度下降算法的原理示意图（图2-4）所示，同样假设一个场景以便于解释经典动量梯度下降算法算法：AGD算法是一个人走下山，他沿着最陡的方向下山，虽然他的步调很慢，但是很稳定；而动量是一个沉重的球从同一座山滚下来，增加的惯性既起到了平滑的作用，又起到了加速器的作用，抑制了振荡，使他穿过狭窄的山谷、山区的隆起部分和局部极小值。图2-4经典动量方法的原理示意图Fig.2-4Schematicdiagramoftheclassicalmomentummethod因此引入经典动量方法的后，AGD算法的更新规则如下：01110,,.ttttttvvvv(2-11)
【参考文献】：
期刊论文
[1]基于自适应动量因子的BP神经网络优化方法研究[J]. 王锦,赵德群,邓钱华,宋瑞祥. 现代信息科技. 2019(07)
[2]Sigma-Pi-Sigma神经网络的带动量项梯度算法的收敛性[J]. 张迅. 温州大学学报(自然科学版). 2018(02)
[3]集值隐函数的似-Lipschitz性和相依导数[J]. 王丽娜,方志苗,李明华. 华东师范大学学报(自然科学版). 2018(01)
[4]基于自适应动量因子的区间神经网络建模方法[J]. 陈实,易军,李倩,黄迪,李太福. 四川大学学报(自然科学版). 2017(05)
[5]浅议:动量守恒定律的应用[J]. 范圣泰. 中学生数理化(学习研究). 2016(07)
[6]基于改进LSH的协同过滤推荐算法[J]. 李红梅,郝文宁,陈刚. 计算机科学. 2015(10)
[7]基于差异合并的分布式随机梯度下降算法[J]. 陈振宏,兰艳艳,郭嘉丰,程学旗. 计算机学报. 2015(10)
[8]Liapunov第二方法的应用[J]. 臧子龙. 甘肃高师学报. 2014(02)
[9]动量守恒定律与能量守恒定律的适用范围研究[J]. 韩晓霞. 济南职业学院学报. 2013(04)
[10]P与NP问题研究[J]. 杜立智,符海东,张鸿,黄远林. 计算机技术与发展. 2013(01)
博士论文
[1]面向大规模数据分析与分类的正则化回归算法[D]. 徐晓琳.安徽大学 2017
硕士论文
[1]多机器人并联绳牵引系统动力学建模及分析[D]. 李巍.兰州交通大学 2016
[2]基于商品关系改进的协同过滤推荐算法[D]. 孙竹.燕山大学 2016
[3]基于稀疏子空间的高维数据聚类关键技术研究与应用[D]. 黄青君.电子科技大学 2016
[4]基于矩阵分解的推荐系统算法研究[D]. 王鹏.北京交通大学 2015
[5]牛顿方程周期解的研究[D]. 杜然.扬州大学 2013
本文编号：3108372
【文章来源】：西华师范大学四川省
【文章页数】：65 页
【学位级别】：硕士
【部分图文】：
HiDS矩阵示意图
推广动量加速非负隐特征分析模型概述8由此，我们得到其LFA模型的原理如下图2.2所示：图2-2隐特征分析模型原理示意图Fig.2-2Schematicdiagramoflatentfactormodelanalysismodel在定义2.2中，f代表HiDS矩阵映射在隐特征空间的维度，X和Y分别表示基于HiDS矩阵的已知数据集Λ构建的反映了用户集（U）和项目集（I）的LF矩阵。为了获得LF矩阵X和Y，基于HiDS矩阵中的已知数据集Λ构建了目标函数来衡量原始数据Z和由两个LF矩阵X、Y低秩近似得到的之间的差值。在抽取HiDS矩阵的LFs时，常采用欧氏距离[35][36][37]作为判断真实值与预测值之间误差的度量方法，由此得到LFA模型的目标函数如下：,2,,,,11argmin,,2..,,{1,2,...,}uifuiukikXYzkXYzxystuUiIkf(2-1)其中，zu,i表示HiDS矩阵Z中第u行第i列的值，例如在推荐系统中，用户u对项目i的评分值zu,i。xu,k和yi,k分别表示两个实体集U和I对应的LF矩阵X和Y的隐特征值，其中k{1-f}。根据定义2.2可知：,,,1fuiukikkzxyt”(2-2)其中，u,i为原始数据中真实值zu,i对应的预测值，表示由相应的两个隐特征矩阵X和Y中的第u行和第i行相乘得到的预测值。因为工业数据集稀的疏度不同，直接最小化目标函数式（2-1）常常会遇见过拟合现象，为防止模型过拟合，常采用Tikhonov正则化方法[38][39][40]约束目标函数。结合式（2-1）和式（2-2）与Tikhonov正则化方法，得到目标函数：,,222,,,.,.22,222,,,,111argmin,21,2..,,{1,2,...,}uiuiuiuiXuYiXYzffuiuiXukYikzkkXYzzXYzzxystuUiIkf(2-3)
推广动量加速非负隐特征分析模型概述13图2-3梯度下降算法算法的原理示意图Fig.2-3Schematicdiagramoftheadditivegradientdescentalgorithm随着AGD算法的盛行，许多学者针对AGD算法作出了优化[46][47][48]。经典动量方法至1962年提出以来，成为了AGD算法的一种重要的扩展算法。“动量”的概念起源于物理学[50][51]，是一个与物理概念中质量和速度相关的物理量，通常指在运动时物体的作用效果。在经典动量方法中可以将“动量”理解为“惯性”，由于惯性的存在，当人们跑起来时会比刚开始加速起跑时更为轻松，同样地，当人们跑过头了，想调头往回跑时，惯性会阻碍你，减小你回跑速度。所以，加入经典动量方法的AGD算法，当它们方向相同时，动量会加速梯度的下降速度，相反则减速。动量减少了AGD算法收敛过程的震荡，提高了其收敛速度和精度。如经典动量梯度下降算法的原理示意图（图2-4）所示，同样假设一个场景以便于解释经典动量梯度下降算法算法：AGD算法是一个人走下山，他沿着最陡的方向下山，虽然他的步调很慢，但是很稳定；而动量是一个沉重的球从同一座山滚下来，增加的惯性既起到了平滑的作用，又起到了加速器的作用，抑制了振荡，使他穿过狭窄的山谷、山区的隆起部分和局部极小值。图2-4经典动量方法的原理示意图Fig.2-4Schematicdiagramoftheclassicalmomentummethod因此引入经典动量方法的后，AGD算法的更新规则如下：01110,,.ttttttvvvv(2-11)
【参考文献】：
期刊论文
[1]基于自适应动量因子的BP神经网络优化方法研究[J]. 王锦,赵德群,邓钱华,宋瑞祥. 现代信息科技. 2019(07)
[2]Sigma-Pi-Sigma神经网络的带动量项梯度算法的收敛性[J]. 张迅. 温州大学学报(自然科学版). 2018(02)
[3]集值隐函数的似-Lipschitz性和相依导数[J]. 王丽娜,方志苗,李明华. 华东师范大学学报(自然科学版). 2018(01)
[4]基于自适应动量因子的区间神经网络建模方法[J]. 陈实,易军,李倩,黄迪,李太福. 四川大学学报(自然科学版). 2017(05)
[5]浅议:动量守恒定律的应用[J]. 范圣泰. 中学生数理化(学习研究). 2016(07)
[6]基于改进LSH的协同过滤推荐算法[J]. 李红梅,郝文宁,陈刚. 计算机科学. 2015(10)
[7]基于差异合并的分布式随机梯度下降算法[J]. 陈振宏,兰艳艳,郭嘉丰,程学旗. 计算机学报. 2015(10)
[8]Liapunov第二方法的应用[J]. 臧子龙. 甘肃高师学报. 2014(02)
[9]动量守恒定律与能量守恒定律的适用范围研究[J]. 韩晓霞. 济南职业学院学报. 2013(04)
[10]P与NP问题研究[J]. 杜立智,符海东,张鸿,黄远林. 计算机技术与发展. 2013(01)
博士论文
[1]面向大规模数据分析与分类的正则化回归算法[D]. 徐晓琳.安徽大学 2017
硕士论文
[1]多机器人并联绳牵引系统动力学建模及分析[D]. 李巍.兰州交通大学 2016
[2]基于商品关系改进的协同过滤推荐算法[D]. 孙竹.燕山大学 2016
[3]基于稀疏子空间的高维数据聚类关键技术研究与应用[D]. 黄青君.电子科技大学 2016
[4]基于矩阵分解的推荐系统算法研究[D]. 王鹏.北京交通大学 2015
[5]牛顿方程周期解的研究[D]. 杜然.扬州大学 2013
本文编号：3108372
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3108372.html
最近更新
教材专著
