基于大数据技术的网络信息分析研究

发布时间：2019-11-02 08:46

【摘要】：近年来,通信技术和互联网技术飞速发展,人们对社会化媒体的使用也随之骤增,网络产生的数据越来越多。在这样的环境下,推荐系统作为一种有效解决数据过载问题的技术,得到了广泛的关注和研究。同时,大数据技术的成熟应用使得数据处理的速度大幅度提升。本文的研究课题正是基于推荐系统技术以及其与大数据技术的结合进行的。本文分析了课题的研究背景和国内外的研究现状,在对推荐系统技术的国内外研究做出调研总结之后,着重研究了基于邻域的协同过滤和基于模型的协同过滤推荐技术,在此基础上进行自己的改进和创新,提出了一种融合推荐算法。在只有评分数据的场景下,深度融合基于项目邻域的协同过滤算法KNNitem和基于矩阵降维模型的推荐算法RSVD,结合这两种算法的优点,从而同时考虑了局部相似度和全局相似度,提升了推荐算法的准确度。随后采用北邮人论坛的实际数据进行试验证明,改进的推荐算法具有更好的推荐效果。同时,本文针对大数据时代推荐系统的数据处理速度慢的问题,将推荐系统与大数据技术相结合,通过对开源的推荐系统的研究和分析,总结出基于大数据技术的个性化推荐系统的设计与实现方法,基于Mahout框架进行个性化推荐系统的构建。通过分层设计的模式对个性化推荐系统进行设计,阐述各层的功能和设计原理,随后通过程序的编写对系统进行实现。
【图文】：

架构图,架构,数据节点

Ｓ客户端的操作提供服务，所有的客户端请求先到达ＮａｍｅＮｏｄｅ，然后ｅｄｕｃｅ框架进行处理。Ｍａｐ操作将文件分割成小数据块然后将它们分的数据节点以及备份节点，在需要从分布式文件系统中读取数据时，Ｒｅ将各个节点的数据进行整合。对于每一个读操作，Ｒｅｄｕｃｅ操作ｅＮｏｄｅ的命名空间收集兀数据信息，而从每个数据节点收集数据信息，们一起呈现给客户端。逡逑ＤａｔａＮｏｄｅ是数据存储甘点，Ｈａｄｏｏｐ的所有数据都存储在数据节点。Ｓ集群由一个主节点和许多数据节点组成。当用户需要在Ｈａｄｏｏｐ上存文件时，大文件被拆分成不间的模块存储在一组数据节点上。ＮａｍｅＮｏｄ据块的映射操作，间时存储相关的兀数据信息，为客户端的各种操作作指令来白ＮａｍｅＮｏｄｅ。逡逑ＨＤＦＳ的所有组成部分都运行于Ｌｉｎｕｘ操作系统和廉价的普通机器上，ＤＦＳ的实现变得十分简单和廉价。ＨＤＦＳ基于Ｊａｖａ语言实现，，而Ｊａｖａ，并且具有平台独立性，这使得ＨＤＦＳ容易被广泛接受。图２－１直观的ＤＦＳ的架构组成。逡逑＿／邋ＮａｍｅＮｏｄｅ逡逑

机器,形式,框架,函数

ｖａｌｕｅ〉形式。然后ｒｅｄｕｃｅ函数开始工作，输入为＜ｋｅｙ，（Ｉｉｓｔ邋ｏｆ邋ｖａｌｕｅｓ）〉形式，逡逑对这个数据集进行处理后，每个ｒｅｄｕｃｅ函数产生１个或０个输出，其形式为逡逑＜ｋｅｙ，ｖａｌｕｅ〉。ＭａｐＲｅｄｕｃｅ具体的数据处理过程如图２－２所不逡逑Ｉｎｐｕｔ逦Ｍａｐｐｅｒｓ邋Ｍｉｄｄｌｅ邋Ｒｅｓｕｌｔ逦Ｒｅｄｕｃｅｒｓ逦Ｏｕｔｐｕｔ逡逑「邋＂１邋逦｜邋；邋｜逡逑ＳｐＩｉ＇Ｏ逦－邋－Ｉ邋？邋Ｍａｐ（）逦逦＼＾ｌ逦！逦逦邋ｉ邋逦邋！逡逑——｜￣？邋Ｒｅｄｕｃｅ邋（）——？邋ｐａｒｔＯ逡逑Ｓｐｌｉｔｌ邋－］－？邋Ｍａｐ0邋逦［？逦邋Ｙ逦｜逦！逡逑！邋逦邋｜邋逦邋］邋逦ｙｊｊ逦—｜￣￣？邋Ｒｅｄｕｃｅ0邋邋Ｋ邋ｐａｒｔｉ逡逑ｉ邋Ｓｐ邋１邋ｉ邋ｔ２邋１邋？邋Ｍａｐ邋（）邋逦逦／逦逦邋！逦＇逡逑ｉｉｉ逦ｉ逦１逦ｉ逡逑ｉ邋逦邋ｉ邋逦邋ｉ邋逦邋ｉ逦ｉ逦ｉ逡逑？逦ｉ逦ｉ逦ｉ逦！逦ｉ逡逑图２－２邋ＭａｐＲｅｄｕｃｅ处理数据流程逡逑２．邋１．２邋Ｍａｈｏｕｔ邋介绍逡逑Ｍａｈｏｕｔ丨２１丨足邋Ａｐａｃｈｅ邋Ｓｏｆｔｗａｒｅ邋Ｆｏｕｎｄａｔｉｏｎ邋（ＡＳＦ）的开源项目之一，它足一个逡逑基于Ｈａｄｏｏｐ的机器学＞」和数据挖掘的分布式计算框架，运行于Ｈａｄｏｏｐ系统之逡逑匕与Ｈａｄｏｏｐ类似，它也基于Ｊａｖａ编写而成。所以可以在任何运行ＪＶＭ的平逡逑台ｈ．进行使用。它提供了一个算法集来解决聚类、分类和预测等问题。它与逡逑Ｈａｄｏｏｐ的ＭａｐＲｅｄｕｃｅ框架相结合，从而可以用一种廉价的解决方案g?？解决机器逡逑学的Ｈ题。Ｍａｈｏｕｔ自出现以来
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP391.3;TP311.13

【参考文献】