基于Hadoop社交网络分析平台的设计与实现

发布时间：2017-12-13 11:08

  本文关键词：基于Hadoop社交网络分析平台的设计与实现

  更多相关文章： 数据挖掘 分布式计算 Hadoop社交网络 大数据

【摘要】：随着社交网络的快速发展,海量社交网络的数据挖掘成为一个重要课题;针对海量数据的社交网络分析方法进行研究,以Hadoop的分布式文件系统和Map/Reduce并行方法设计基于Hadoop的分布式数据挖掘框架,在此基础上,通过Map/Reduce的并行方法,将传统数据挖掘算法并行化,以谱聚类的并行为例,阐述转化的过程并对在大数据条件下所面临的内存不足的问题给出相应的算法优化;最后对3个不同量级的数据集进行实验,验证基于Hadoop的社交网络分析平台的框架的合理性和算法并行化的有效性。
【作者单位】： 宁波大红鹰学院信息工程学院;
【分类号】：TP311.13;TP393.09
【正文快照】： 0引言大数据的挑战随着云技术的发展云开月朗。利用分布式的框架,使用多台机器同时并行工作,横向扩展了计算机的存储和计算能力,以Hadoop[1]为例,它正在有效地为Facebook、Yahoo的海量数据存储和大规模高性能搜索要求提供服务和支持。大规模的数据挖掘带来了不可度量的价值和

【共引文献】

中国期刊全文数据库 前10条

1 秦洋;王立宏;武栓虎;宋宜斌;;基于拉普拉斯矩阵的DNA序列集相似性分析[J];北京交通大学学报;2009年06期

2 徐天顺;;谱聚类算法研究[J];电脑知识与技术;2012年16期

3 陈姿羽;黄靖;李伟鹏;;一种改进的自适应谱聚类图像分割算法[J];南方医科大学学报;2012年05期

4 孔万增;孙志海;杨灿;戴国骏;孙昌思核;;基于本征间隙与正交特征向量的自动谱聚类[J];电子学报;2010年08期

5 钱鹏江;王士同;邓赵红;徐华;;基于最小包含球的大数据集快速谱聚类算法[J];电子学报;2010年09期

6 程学旗;沈华伟;;复杂网络的社区结构[J];复杂系统与复杂性科学;2011年01期

7 彭艳斌;艾解清;;基于谱聚类波段选择的高光谱图像分类[J];光电工程;2012年02期

8 卢志茂;徐森;刘远超;顾国昌;;使用“分裂-合并"策略改进文本聚类集成算法的研究[J];高技术通讯;2010年07期

9 葛芳;王年;郭秀丽;;一种改进的谱聚类算法及其在基因表达谱分析中的应用[J];安徽大学学报(自然科学版);2012年05期

10 施晓筛;徐森;曹瑞;;文本谱聚类算法研究[J];电子设计工程;2012年22期

中国重要会议论文全文数据库 前3条

1 王小磊;张瑾;许洪波;;基于交互增强原理的多文档自动文摘算法[A];第四届全国学生计算语言学研讨会会议论文集[C];2008年

2 司炜;;IT支撑系统云计算资源池实现研究[A];2013年中国通信学会信息通信网络技术委员会年会论文集[C];2013年

3 司炜;;IT支撑系统云计算资源池实现研究[A];中国通信学会信息通信网络技术委员会2013年年会论文集[C];2013年

中国博士学位论文全文数据库 前10条

1 徐森;文本聚类集成关键技术研究[D];哈尔滨工程大学;2010年

2 宋军;水交换模型的理论方法及应用研究[D];中国海洋大学;2010年

3 陈伟;基于时序文本挖掘的新闻内容理解与推荐技术研究[D];浙江大学;2010年

4 钱鹏江;大规模数据集聚类方法研究及应用[D];江南大学;2011年

5 吕绍高;统计学习中回归与正则化谱聚类算法的研究[D];中国科学技术大学;2011年

6 林古立;互联网信息检索中的多样化排序研究及应用[D];华南理工大学;2011年

7 张大明;基于图理论的图像分割和分类算法研究[D];安徽大学;2011年

8 杨鹏;离群检测及其优化算法研究[D];重庆大学;2010年

9 陈潇;图像目标三维几何不变量特征构造与应用[D];上海交通大学;2011年

10 李博;基于场景外观建模的移动机器人视觉闭环检测研究[D];重庆大学;2011年

中国硕士学位论文全文数据库 前10条

1 李静伟;基于共享近邻的自适应谱聚类算法[D];大连理工大学;2010年

2 孙玉侠;数据挖掘中的谱聚类算法研究[D];中国海洋大学;2010年

3 温程;并行聚类算法在MapReduce上的实现[D];浙江大学;2011年

4 毛菥;基于文本分析技术的新闻阅读平台的研究与实现[D];浙江大学;2011年

5 张汉珍;谱划分算法中特征向量选取方法的研究[D];西安电子科技大学;2010年

6 王蓓金;蛋白质网络模块分解的密度聚类算法研究[D];西安电子科技大学;2010年

7 雷玲;离散正则化方法在草场检测上的研究与应用[D];吉林大学;2011年

8 钱新宇;基于实例推理的虚拟装配序列规划研究[D];大连海事大学;2011年

9 黄旭;群智能优化算法及其在PPI网络中的应用研究[D];陕西师范大学;2011年

10 李俊英;谱聚类方法在图像分割中的应用研究[D];陕西师范大学;2011年

【二级参考文献】

中国期刊全文数据库 前2条

1 解(亻刍);汪小帆;;复杂网络中的社团结构分析算法研究综述[J];复杂系统与复杂性科学;2005年03期

2 刘继敏,史忠植;一种基于形状的图像信息检索方法[J];软件学报;2000年01期

中国博士学位论文全文数据库 前1条

1 杨强;支持向量机的模型及其在图像分割中的应用[D];重庆大学;2004年

【相似文献】

中国期刊全文数据库 前10条

1 李林容;;社交网络的特性及其发展趋势[J];新闻界;2010年05期

2 陈琛;沙昊;;社交网络的开放融合图谱[J];通信世界;2010年48期

3 杨宇良;;网络让我们更远还是更近[J];互联网天地;2011年01期

4 陈昱;;社交网络革命与国家安全关系[J];情报杂志;2011年S2期

5 劳伦·考克斯;;请在工作时更新你的状态[J];科技创业;2011年05期

6 斯蒂芬·卡斯;;在线社区能否解决隐私问题[J];科技创业;2011年08期

7 陈云鹏;;电子商务引领社交网络走进2.0时代[J];上海信息化;2012年01期

8 马文刚;;智慧的物联社交网络[J];上海信息化;2012年03期

9 朱乾龙;张倩;杜娟;;我国社交网络繁荣背后面临深层次问题困扰[J];世界电信;2012年06期

10 刘华;;社交网络的融合之路[J];软件工程师;2012年07期

中国重要会议论文全文数据库 前10条

1 赵云龙;李艳兵;;社交网络用户的人格预测与关系强度研究[A];第七届（2012）中国管理学年会商务智能分会场论文集（选编）[C];2012年

2 宫广宇;李开军;;对社交网络中信息传播的分析和思考——以人人网为例[A];首届华中地区新闻与传播学科研究生学术论坛获奖论文[C];2010年

3 杨子鹏;乔丽娟;王梦思;杨雪迎;孟子冰;张禹;;社交网络与大学生焦虑缓解[A];心理学与创新能力提升——第十六届全国心理学学术会议论文集[C];2013年

4 毕雪梅;;体育虚拟社区中的体育社交网络解析[A];第九届全国体育科学大会论文摘要汇编(4)[C];2011年

5 杜p，

本文编号：1284904