高维数据内在结构保持的非负矩阵分解方法

发布时间：2017-08-30 20:26

  本文关键词：高维数据内在结构保持的非负矩阵分解方法

  更多相关文章： 非负矩阵分解 核密度估计 K-L散度 内在结构保持 梯度下降

【摘要】：非负矩阵分解理论(Nonnegtive Matrix Factorization,NMF)是当今学术研究的热点问题。与其他矩阵分解方法不同,NMF从“个体构成总体,局部构成整体”的角度出发,将一个非负数据矩阵分解为两个非负矩阵(一为基矩阵、一为系数矩阵)相乘。这种概念正与人类认知事物的原理相吻合。由于非负矩阵分解方法分解非负矩阵后得到的基矩阵和系数矩阵都是非负的,所以分解的结果具有很强的可解释性,这一点与传统的矩阵分解(比如奇异值分解Single Value Decomposition,SVD)不同,传统的矩阵分解会出现负数的情况,以至于缺乏相应的物理解释。这种可解释性使得非负矩阵分解方法在图像处理,数据挖掘,环境监测,化学计量学,多媒体分析等领域都得到了广泛的应用。从降维的角度讲,分解后的基向量就是低维空间中新的基,原始数据可以表示为这组基的一个线性组合,因此可以通过选取适当参数,我们能得到原始高维数据的一个低维描述,达到数据维数约简的目的。本文深入地研究了非负矩阵分解方法,在此基础上,提出了一种高维数据内在结构保持的非负矩阵分解模型以及快速梯度下降求解算法。本文在标准非负矩阵分解算法的目标函数上添加一个正则项,使得新的非负矩阵分解算法具有高维内在结构在低维空间中得到保持的能力。这个正则项中使用核函数密度估计的方法来描述原始数据和分解后低维描述中的密度分布。本文分别利用高斯和柯西核密度估计来估计原始数据和低维表示的数据分布,然后利用K-L(Kullback Leibler divergence)散度作为衡量两个密度分布的相似性。为了使分解后低维描述和原始数据在结构上(在这里就是密度分布)尽可能地保持一致,正则项的模型就是最小化两个密度分布的K-L散度。然后通过比较人脸图像聚类实验结果验证了算法具有在低维空间中保持高维数据内在结构的性质。本文提出了一种新的基于梯度下降的快速收敛算法。传统的梯度下降方法步长是固定的,如果步长设置的太小,那么就会增加迭代的时间,导致求解的过程时间增长,如果步长设置的太大,那么容易错过最优解,对算法达不到收敛。本文提出的算法在每次迭代之前都要计算本次迭代的最优步长。目标函数每次迭代都按照最优步长来下降。本文通过相关实验,验证了本文提出的梯度下降方法具有收敛性,收敛速度快等特点。
【关键词】：非负矩阵分解 核密度估计 K-L散度 内在结构保持 梯度下降
【学位授予单位】：重庆大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP391.41;O151.21
【目录】：

• 中文摘要3-4
• 英文摘要4-7
• 1 绪论7-18
• 1.1 选题背景及研究意义7-9
• 1.2 研究现状及难点问题9-16
• 1.2.1 国内外研究现状9-15
• 1.2.2 研究的难点问题15-16
• 1.3 本文的主要工作及内容安排16-18
• 1.3.1 本文主要工作16
• 1.3.2 本文结构安排16-18
• 2 非负矩阵分解基本理论18-33
• 2.1 非负矩阵分解理论18-25
• 2.1.1 问题阐述18
• 2.1.2 目标函数18-19
• 2.1.3 迭代规则19-21
• 2.1.4 NMF解的性质21-25
• 2.2 非负矩阵分解的原理25-28
• 2.3 非负矩阵分解的应用28-31
• 2.3.1 非负矩阵分解算法在数据压缩中的应用28-29
• 2.3.2 非负矩阵分解算法在聚类中的应用29-30
• 2.3.3 非负矩阵分解算法在分类中的应用30-31
• 2.3.4 非负矩阵分解算法在具体领域中的应用31
• 2.4 本章小结31-33
• 3 高维数据内在结构保持的非负矩阵分解方法33-43
• 3.1 引言33
• 3.2 高维数据内在结构保持的非负矩阵分解的模型33-34
• 3.2.1 基于核密度估计的正则项33-34
• 3.2.2 高维数据内在结构保持的非负矩阵分解模型34
• 3.3 一种快速的梯度下降法34-37
• 3.3.1 梯度下降方法35
• 3.3.2 一种快速的梯度下降法35-37
• 3.4 求解高维数据内在结构保持的非负矩阵分解问题37-42
• 3.4.1 求基矩阵W的迭代更新公式37-39
• 3.4.2 系数矩阵H的迭代更新方法39-42
• 3.5 算法过程42
• 3.6 本章小结42-43
• 4 试验与结果分析43-54
• 4.1 引言43
• 4.2 试验数据集43-44
• 4.3 实验与结果44-53
• 4.3.1 高维数据内在结构保持的非负矩阵分解算法的收敛性44-46
• 4.3.2 基向量分析46-47
• 4.3.3 原始图像的重构47-48
• 4.3.4 高维数据内在结构保持的非负矩阵分解算法的聚类性能48-51
• 4.3.5 新的快速梯度下降方法实验51-52
• 4.3.6 新的梯度下降法与乘性迭代方法聚类性能实验52-53
• 4.4 本章小结53-54
• 5 总结与展望54-56
• 5.1 本文工作总结54-55
• 5.2 未来工作展望55-56
• 致谢56-57
• 参考文献57-61
• 附录61

【相似文献】

中国期刊全文数据库 前10条

1 宋金歌;杨景;陈平;佘玉梅;;一种非负矩阵分解的快速稀疏算法[J];云南民族大学学报(自然科学版);2011年04期

2 尹星云;;非负矩阵分解的基本原理和研究现状分析[J];科技资讯;2011年35期

3 程明松;刘勺连;;一种实用快速非负矩阵分解算法[J];大连理工大学学报;2013年01期

4 唐晓芬;陈莉;;最大相关熵非负矩阵分解在基因表达数据聚类中的应用[J];计算机与应用化学;2013年11期

5 曾文梅;;基于半监督非负矩阵分解的人流量分析[J];哈尔滨师范大学自然科学学报;2011年02期

6 孟佳音;刘丁酉;;基于分布估计算法的非负矩阵分解[J];湖北民族学院学报(自然科学版);2012年03期

7 王雪明;王套;;非负矩阵分解的相关讨论[J];湖南农机;2013年09期

8 曹胜玉;刘来福;;非负矩阵分解及其在基因表达数据分析中的应用[J];北京师范大学学报(自然科学版);2007年01期

9 李巧;孔薇;;改进的非负矩阵分解在基因表达数据中的应用[J];信息技术;2010年12期

10 陈清华;陈六君;郭金忠;;二进制约束下的NMF方法及其应用[J];北京师范大学学报(自然科学版);2009年01期

中国重要会议论文全文数据库 前10条

1 孙江明;李通化;;非平滑三维非负矩阵分解[A];第九届全国计算（机）化学学术会议论文摘要集[C];2007年

2 蒋永锴;叶东毅;;基于稀疏非负矩阵分解的自动多文摘方法[A];中国计算机语言学研究前沿进展（2007-2009）[C];2009年

3 马帅;吴飞;杨易;邵健;;基于稀疏非负矩阵分解的图像检索[A];第七届和谐人机环境联合学术会议（HHME2011)论文集【oral】[C];2011年

4 徐利民;龚珊;余再军;;奇异值分解与非负矩阵分解色在数据降维方面的特性分析[A];2010年通信理论与信号处理学术年会论文集[C];2010年

5 蔡蕾;朱永生;;基于稀疏性非负矩阵分解和支持向量机的轴心轨迹图识别[A];2008年全国振动工程及应用学术会议暨第十一届全国设备故障诊断学术会议论文集[C];2008年

6 蒋霈霖;;KL散度下的非负矩阵分解[A];中国自动化学会中南六省（区）2010年第28届年会·论文集[C];2010年

7 杨宝;朱启兵;黄敏;;基于非负矩阵分解一稀疏表示分类的玻璃缺陷图像识别[A];第24届中国控制与决策会议论文集[C];2012年

8 钱乐乐;高隽;徐小红;;非负性约束的图像稀疏编码[A];第七届全国信息获取与处理学术会议论文集[C];2009年

9 朱昊;黄源水;付梦印;;基于NMF的道路识别算法在野外环境感知中的应用[A];第九届全国光电技术学术交流会论文集（下册）[C];2010年

10 郑能恒;蔡毅;李霞;Tan Lee;;基于非负矩阵分解和向量相似测度的语音与音乐分离算法[A];第十一届全国人机语音通讯学术会议论文集（一）[C];2011年

中国博士学位论文全文数据库 前10条

1 杨士准;基于样本和特征的迁移学习方法及应用[D];国防科学技术大学;2013年

2 叶军;基于正则化方法的非负矩阵分解算法及其应用研究[D];南京理工大学;2014年

3 陆玉武;图像分类中流形回归与非负矩阵分解研究[D];哈尔滨工业大学;2015年

4 张恩德;在线社会网络分析与挖掘若干关键问题研究[D];东北大学;2014年

5 胡俐蕊;非负矩阵分解方法及其在选票图像识别中的应用[D];安徽大学;2013年

6 殷海青;图像分析中的非负矩阵分解理论及其最优化和正则化方法研究[D];西安电子科技大学;2011年

7 杨洪礼;非负矩阵与张量分解及其应用[D];山东科技大学;2011年

8 史加荣;多尺度张量逼近及应用[D];西安电子科技大学;2012年

9 方蔚涛;人脸识别特征抽取算法的研究[D];重庆大学;2012年

10 刘昱昊;基于非负矩阵分解算法的人脸识别技术的研究[D];吉林大学;2014年

中国硕士学位论文全文数据库 前10条

1 谢昊;非负矩阵分解初始化及其应用[D];暨南大学;2015年

2 王一;凸与半非负矩阵分解的近点梯度方法研究[D];东北师范大学;2015年

3 项磊;基于乳腺癌计算机辅助诊断的病理图像分析[D];南京信息工程大学;2015年

4 王丹;基于非负矩阵分解的脑电信号特征提取算法研究[D];燕山大学;2015年

5 马春霞;非负矩阵分解及在基因表达数据分析中的应用研究[D];曲阜师范大学;2015年

6 崔艳荣;基于非负矩阵分解的高光谱遥感数据融合方法分析及应用[D];电子科技大学;2014年

7 赖淑珍;非负矩阵分解若干算法研究与应用[D];电子科技大学;2014年

8 赵龙;基于多流形正则化非负矩阵分解的多视图聚类[D];大连理工大学;2015年

9 黄震;基于多视角非负矩阵分解的同名区分算法研究[D];大连理工大学;2015年

10 邵强;改进的非负矩阵分解算法及其在人脸识别中的应用[D];河北工业大学;2015年

，

本文编号：761303