非负矩阵分解及在社区检测和搜索结果聚类中的应用

发布时间：2019-07-29 12:05

【摘要】：一方面,随着互联网上数据和信息的迅速增长,人们被淹没在数据的海洋里。如何从这些海量的数据中获取人们想要的信息,成为当今数据挖掘和机器学习面临的主要任务。由于大数据的4V特征(Volume、Variety、Value、Velocity),使得如何对这些海量的数据进行降维处理成为人们关心的主要问题之一。非负矩阵分解由于其能发现数据内在的维度和结构、具有较好的可解释性、可以直接对数据进行聚类分析等优点,受到了人们的广泛关注。另一方面,现实世界的诸多系统都可以表示为复杂网络的形式,而从复杂网络中发现连接紧密的社区结构(即对节点进行聚类分析)具有重要的意义。近年来,复杂网络社区检测引起了人们极大的兴趣,随着复杂网络社区检测方法研究的深入,涌现出许多基于非负矩阵分解方法的社区发现模型,并取得了一些鼓舞人心的结果。但基于非负矩阵分解的社区发现模型仍然存在以下问题:(1)非负矩阵分解模型本身对初值敏感,面对网络社区检测问题需要考虑网络自身结构特性设计有效的初值选择策略。(2)现有的用于网络社区检测的非负矩阵分解模型的有效性还有待进一步提高,已有模型没有考虑对分解出的基向量进行正交约束,以增强分解结果的稀疏性。(3)现有的基于网络社区检测的非负矩阵分解方法没有考虑节点自身的特性,如当网络表示视频之间的共观看关系时,节点上的属性即是视频的标题短文本,需要研究基于非负矩阵分解的社会媒体短文本聚类及网络和节点属性相结合的非负矩阵分解方法。针对以上问题,本论文的贡献如下:(1)提出了一种新的矩阵分解初始化方法(CALS),该方法使用Pagerank方法对原始矩阵进行排序,考虑节点的重要性和节点间的距离双重因素选取k(社区个数)个初始值对基矩阵进行初始化。然后,使用最小二乘方法求解出隶属度矩阵。在人工和真实数据集上的实验结果表明:CALS不仅可以提高算法的稳定性,而且提高了非负矩阵分解方法用于社区检测的精度。(2)提出了一种基于正交约束的非负矩阵分解模型(ALSOC),正交约束的引入实现了分解的低秩性、稀疏性。基于最小二乘的方法的迭代求解方法在真实数据集和人工合成数据集上的都表现出较好的性能。相关实验结果证明了:ALSOC方法不仅可以保证结果的稀疏性,还可以提高算法的准确性。(3)本文初步尝试了非负矩阵分解方法在短文本聚类上的效果,并将非负矩阵分解方法用于优酷UGC(User Generated Content)数据的搜索结果聚类。在优酷内部搭建一个视频主题分析原型系统,以便对搜索结果进行二次整理,提高搜索结果的多样性并为用户提供多层次的选择。
【图文】：

图２－２在ＮＭＦＡＬＳ算法上Ａｃｃｕｒａ巧和ＮＭＩ的对比结果逡逑Ｆｉｇｕｉ＊ｅ邋２－２邋Ｔｈｅ邋Ａｃｃｕｒａｃｙ邋ａｎｄ邋ＮＭＩ邋ｃｏｍｐａｒｉｓｏｎ邋ｒｅｓｕｌｔ邋ｏｆ邋ＮＭＦＡＬＳ邋ａｌｇｏｒｉｔｈｍ逡逑２２逡逑

逦非负矩阵分解的初始化逡逑的对比实验结果见图２－４。逡逑＇．… …邋邋邋邋．．＇－？－．．．．．．．逦３邋Ｐ邋－邋邋逦丫三．．二：逦？、＇逦＇逦］逡逑ｏ．ｓｓ＾＾逦＼逡逑ｔ邋＼逡逑。化—妍。逦Ｙ逦０－６邋……篇；ＳＶＤ逦Ｉ逡逑。方邋１．，＝畔。Ｉ—＿．逦．逦．逦．逦１逦０．５５Ｌ—Ｉ＿，逦．逦．逦．逦３逡逑０．１逦０＊２逦＆３逦０．４逦０．５逦江邋６逦０．７逦化！逦0２逦０．３逦０＊４逦０．５逦０．６逦０．７逡逑Ｕ逦Ｕ逡逑图２－１在ＮＭＦＭＵ算法上Ａｃｃｗａｃｙ和ＮＭＩ的对比结果逡逑Ｆｉｇｕｒｅ邋２－１邋Ｔｈｅ邋Ａｃｃｕｉ＊ａｃｙ邋ａｎｄ邋ＮＭＩ邋ｃｏｍｐａｒｉｓｏｎ邋Ｋｓｕｌｔ邋ｏｆ邋ＮＭＦＭＵ邋ａｌTBｏｒｉ化ｍ逡逑ｋ．逦＼：逦＼邋．．逡逑—中？己逦Ｖ逦—中毛．逦＼逡逑０＊５５邋…．ＷＯＳＶＤ逦义逦０．６逦－邋ｎＮＤＳＶＤ逦＼．逡逑逦ＣＡＬＳ逦？逦逦ＣＡＬＳ逦１逡逑０知逦Ｉ逦＊逦＇逦＇逦？逦。巧邋Ｉ逦Ｉ邋邋逦１逦１逦１逦１逦ａＪ逡逑0．！逦０＊２逦０．３逦０．４逦０占逦ａｅ逦０．７逦０．１逦0之逦０。逦庄邋４逦ＯＪ逦０．６逦０．７逡逑Ｕ逦Ｕ逡逑图２－２在ＮＭＦＡＬＳ算法上Ａｃｃｕｒａ巧
【学位授予单位】：北京交通大学
【学位级别】：硕士
【学位授予年份】：2017
【分类号】：O157.5;O151.21

【相似文献】

相关期刊论文 前10条

1 黄钢石,张亚非,陆建江,徐宝文;一种受限非负矩阵分解方法[J];东南大学学报(自然科学版);2004年02期

2 刘东;;浅析基矩阵在线性代数教学中的应用[J];高等数学研究;2010年01期

3 宋金歌;杨景;陈平;佘玉梅;;一种非负矩阵分解的快速稀疏算法[J];云南民族大学学报(自然科学版);2011年04期

4 尹星云;;非负矩阵分解的基本原理和研究现状分析[J];科技资讯;2011年35期

5 程明松;刘勺连;;一种实用快速非负矩阵分解算法[J];大连理工大学学报;2013年01期

6 唐晓芬;陈莉;;最大相关熵非负矩阵分解在基因表达数据聚类中的应用[J];计算机与应用化学;2013年11期

7 岑建苗;关于集基矩阵偏序(英文)[J];宁波大学学报(理工版);2005年02期

8 马先南;;改进单纯形法中基于新基矩阵的逆矩阵计算[J];上海工程技术大学学报;2006年02期

9 曾文梅;;基于半监督非负矩阵分解的人流量分析[J];哈尔滨师范大学自然科学学报;2011年02期

10 孟佳音;刘丁酉;;基于分布估计算法的非负矩阵分解[J];湖北民族学院学报(自然科学版);2012年03期

相关会议论文 前10条

1 孙江明;李通化;;非平滑三维非负矩阵分解[A];第九届全国计算（机）化学学术会议论文摘要集[C];2007年

2 蒋永锴;叶东毅;;基于稀疏非负矩阵分解的自动多文摘方法[A];中国计算机语言学研究前沿进展（2007-2009）[C];2009年

3 马帅;吴飞;杨易;邵健;;基于稀疏非负矩阵分解的图像检索[A];第七届和谐人机环境联合学术会议（HHME2011)论文集【oral】[C];2011年

4 徐利民;龚珊;余再军;;奇异值分解与非负矩阵分解色在数据降维方面的特性分析[A];2010年通信理论与信号处理学术年会论文集[C];2010年

5 蔡蕾;朱永生;;基于稀疏性非负矩阵分解和支持向量机的轴心轨迹图识别[A];2008年全国振动工程及应用学术会议暨第十一届全国设备故障诊断学术会议论文集[C];2008年

6 蒋霈霖;;KL散度下的非负矩阵分解[A];中国自动化学会中南六省（区）2010年第28届年会·论文集[C];2010年

7 杨宝;朱启兵;黄敏;;基于非负矩阵分解一稀疏表示分类的玻璃缺陷图像识别[A];第24届中国控制与决策会议论文集[C];2012年

8 钱乐乐;高隽;徐小红;;非负性约束的图像稀疏编码[A];第七届全国信息获取与处理学术会议论文集[C];2009年

9 王春江;钱若军;王人鹏;杨联萍;;矩阵分解在张力集成体系模态分析中的应用[A];第九届全国结构工程学术会议论文集第Ⅰ卷[C];2000年

10 朱昊;黄源水;付梦印;;基于NMF的道路识别算法在野外环境感知中的应用[A];第九届全国光电技术学术交流会论文集（下册）[C];2010年

相关博士学位论文 前10条

1 杨士准;基于样本和特征的迁移学习方法及应用[D];国防科学技术大学;2013年

2 叶军;基于正则化方法的非负矩阵分解算法及其应用研究[D];南京理工大学;2014年

3 陆玉武;图像分类中流形回归与非负矩阵分解研究[D];哈尔滨工业大学;2015年

4 张恩德;在线社会网络分析与挖掘若干关键问题研究[D];东北大学;2014年

5 张翔;投影非负矩阵分解算法研究及其应用[D];国防科学技术大学;2015年

6 胡俐蕊;非负矩阵分解方法及其在选票图像识别中的应用[D];安徽大学;2013年

7 殷海青;图像分析中的非负矩阵分解理论及其最优化和正则化方法研究[D];西安电子科技大学;2011年

8 杨洪礼;非负矩阵与张量分解及其应用[D];山东科技大学;2011年

9 史加荣;多尺度张量逼近及应用[D];西安电子科技大学;2012年

10 方蔚涛;人脸识别特征抽取算法的研究[D];重庆大学;2012年

相关硕士学位论文 前10条

1 杨玉;QC-LDPC码完全代数设计方法[D];华中科技大学;2015年

2 马欢;以线性分组码为子码的混合LDPC码构造[D];北京交通大学;2017年

3 谢昊;非负矩阵分解初始化及其应用[D];暨南大学;2015年

4 王一;凸与半非负矩阵分解的近点梯度方法研究[D];东北师范大学;2015年

5 项磊;基于乳腺癌计算机辅助诊断的病理图像分析[D];南京信息工程大学;2015年

6 王丹;基于非负矩阵分解的脑电信号特征提取算法研究[D];燕山大学;2015年

7 马春霞;非负矩阵分解及在基因表达数据分析中的应用研究[D];曲阜师范大学;2015年

8 崔艳荣;基于非负矩阵分解的高光谱遥感数据融合方法分析及应用[D];电子科技大学;2014年

9 赖淑珍;非负矩阵分解若干算法研究与应用[D];电子科技大学;2014年

10 赵龙;基于多流形正则化非负矩阵分解的多视图聚类[D];大连理工大学;2015年

，

本文编号：2520494