基于Hadoop云平台的社交网络服务推荐算法的研究

发布时间：2021-09-22 01:00

　　随着信息技术和网络技术的高速发展，互联网已经迈入了“Web2.0时代”。“Web2.0时代”的互联网朝着更加智能化、个性化和社会化的方向发展，影响并改变着人们的生活方式，其中最典型的例子便是社交网络（SNS，Social Networking Services）。由于社交网络拥有庞大的用户群体，并且用户频繁地更新微博，造成社交网络每天都会产生大量的用户数据。如何从这些用户数据中发现深层次的有用信息，并据此为用户提供个性化的服务推荐成为社交网络重点关注的方向。但是，社交网络产生的往往都是超大规模的数据集，如何处理这种大规模的数据集成为一个较为严峻的挑战。Hadoop是Google云计算平台的开源实现，它是一个能够对大量数据进行分布式处理的软件框架，具有高效性、高可靠性、高可伸缩性、经济廉价性等诸多优点，在工业界和学术界得到广泛应用。为了能够高效地处理海量数据，并保证可扩展性，利用一个分布式平台实现社交网络服务推荐算法是不二选择。鉴于Hadoop固有的大规模数据存储和处理能力可以有效地解决海量数据的安全存储和高效处理难题，同时可以保证数据的可靠性、有效性和安全性，本文提出在Hadoop云平... 

【文章来源】：吉林大学吉林省 211工程院校 985工程院校 教育部直属院校

【文章页数】：65 页

【学位级别】：硕士

【部分图文】：

中国社交网络的市场规模和发展趋势

[45]。Hadoop有多种元素构成（如图3.1），本文中主要用到HDFS（Hadoop Distributed File System）、并行编程模型MapReduce和分布式数据库HBase，下面将分别进行介绍。3.1 分布式文件系统 HDFSHDFS是Hadoop的文件系统，用于可靠地存储海量的数据集。HDFS是主从式的系统架构，一个集群由一个NameNode节点和多个DataNode节点组成。HDFS将元数据和应用数据分开存储[46]，其中，元数据由NameNode节点管理，实际应用数据存储在DataNode节点中。客户端从NameNode节点获得文件的元数据，然后找到存储应用数据的DataNode节点直接交互。NameNode是一个集群中的主控服务器

相关的研究，其中，文献[50-52]在MapReduce上进行社交网络数据分析，文献[53]在Hadoop平台上实现了基于用户的协同过滤推荐算法。借鉴以上的研究基础，本论文在开源云平台Hadoop上进行社交网络服务推荐的研究，其系统框架如图4.1所示，该系统主要包括数据采集模块、数据预处理模块、数据存储模块和服务推荐模块四部分。

【参考文献】：
博士论文
[1]商务推荐系统的设计研究[D]. 王宏宇.中国科学技术大学 2007

硕士论文
[1]社会网络分析工具中的分布式最小生成树算法[D]. 杨寅.北京邮电大学 2011
[2]中文关键词提取技术[D]. 梁伟明.上海交通大学 2010



本文编号：3402835