基于云计算的海量网络流量数据分析处理及关键算法研究

发布时间：2021-03-27 02:00

　　随着ADSL宽带网络技术的发展,ADSL网络用户数量逐年增加；与此同时,借助于移动网络的升级和智能手机的推广,移动互联网也发展迅猛,用户增长强劲。网络已经成为了我们生活中不可缺少的一部分。网络是庞大的,更是复杂的,不论是对新兴的移动互联网还是不断升级的ADSL宽带网络都还有认识不全面之处。而网络流量监测技术则是一把打开网络流量分析大门的钥匙,将网络流量监控技术获取的海量网络流量信息,与云计算、数据挖掘技术相结合,可以深入分析和挖掘网络的流量特征和用户特征。建立网络模型,为网络的设计和优化提供参考；并深入挖掘用户的上网行为和偏好行为,掌握用户的偏好行为,依据用户的偏好推荐更多优质的网络内容。本文的主要研究内容和创新点如下：（1）将基于Hadoop的云计算技术引入海量网络流量分析领域,创新性的将数据挖掘的关键算法、Hadoop云计算平台和海量网络流量分析相结合,构建了基于Hadoop云计算平台的海量网络流量分析系统。系统实现了对海量网络流量数据的分布式存储和高效准确的数据挖掘。研究的关键算法有：分类算法对海量流量进行分类,聚类算法研究用户的行为偏好,推荐算法根据用户偏好推荐。基于Hadoo... 

【文章来源】：北京邮电大学北京市 211工程院校 教育部直属院校

【文章页数】：168 页

【学位级别】：博士

【部分图文】：

中国手机应用使用率⑴

图2-5 HDFS架构图件系统主要结构和功能如下所示：meNode：为主节点，负责管理HDFS文件系统。ondary NameNode：为备份主节点，是NameNode的备份节taNode：为数据存储节点，负责HDFS文件系统中数据的保

本文提出了基于Hadoop云计算的处理海量移动互联网URL流量的网站分类系统架构，其系统架构图如图3-2所示。本文设计的架构，研宄了业界云计算系统，并结合移动互联网URL网站分类的具体需求，形成了一套移动互联网网站分类技术框架，同时图3-2也对具体网站分类任务的执行方式进行了描述。基于Hadoop云计算的移动互联网网站分类系统的分析架构分为七层：数据导入层，文件存储层，数据存储层，编程模型层，数据分析层，上层应用和系统管理层。层与层之间相互协作，相互补充，共同完成了移动互联网网站分类的任务。该系统七层架构的详细介绍如下所示。1.数据导入层：数据导入层位于整个分类系统的最底层，是建立系统和外部之间关系的纽带

【参考文献】：
期刊论文
[1]浅析二项分布、泊松分布和正态分布之间的关系[J]. 于洋.  企业科技与发展. 2008(20)
[2]个性化推荐算法设计[J]. 赵亮,胡乃静,张守志.  计算机研究与发展. 2002(08)

硕士论文
[1]网络用户行为分析研究及其应用[D]. 董富强.西安电子科技大学 2005



本文编号：3102660