基于Hadoop的精细化分析及其应用

发布时间：2017-06-06 16:10

  本文关键词：基于Hadoop的精细化分析及其应用，由笔耕文化传播整理发布。

【摘要】：近年来,互联网已经逐步取代传统的传播媒体,如报纸、期刊等,成为全球最大的传播媒体。随着互联网类传播媒体的发展,广告展现与点击逐渐成为各种有趣的Web网站与应用的主要收入来源。且从容量方面来说,相比任何一种传统传播媒体,互联网可以为人们提供取之不尽、用之不竭的 page‖,因此Web广告越来越被网站主和广告主关注。Web广告与传统的广告展示不同,在Web上可以定制展示广告,而硬煤介则不可以。Web上可以利用用户的信息来确定应该对哪些用户显示哪些广告,而不管他们在浏览哪个网页。在如今广告产业发展显示广告主在web网站从购买广告位逐渐转变为购买广告人群,所以精细化分析用户所属广告人群是众多广告产业企业面临的一大机遇也是挑战。然而,在如今互联网拥有数以亿计网民用户每天产生TB级甚至是PB级的海量行为数据,以及众多的广告主的广告投放需求,使用传统的单台主机对用户与广告进行存储匹配和分析已经无法满足对这样的极大规模数据进行快速处理的需求。因此采用分布式存储和计算成为了必然的发展方向。此外,Hadoop是一个以HDFS分布式文件系统和MapReduce分布式计算框架为核心的,具有高可靠性、高扩展性、高效性、高容错性的,适用于大规模数据集分析处理的分布式计算平台。由于优势突出,基于Hadoop的应用已经在互联网领域遍地开花,如网络日志分析、搜索引擎、数据挖掘等,并且取得了非常突出的成绩。基于上述背景,本论文提出基于Hadoop分布式平台的核心技术以及数据挖掘聚类分析算法——CURE算法,研究设计并实现出准确、高效地根据网络用户的浏览广告行为、点击广告行为、下载广告行为、和转发广告行为四个方面来精细化分析与计算用户所属的广告人群。充分利用了Map-Reduce在处理海量数据方面的优势,且将海量数据存储在适用于集群计算的大规模分布式文件系统HDFS中。
【关键词】：人群精细化分析 Hadoop HDFS Map Reduce CURE聚类分析算法
【学位授予单位】：南京邮电大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP311.13
【目录】：

• 摘要4-5
• Abstract5-9
• 第一章 绪论9-12
• 1.1 课题研究背景及意义9
• 1.2 国内外研究现状9-10
• 1.3 本论文主要内容10
• 1.4 论文架构10-12
• 第二章 系统相关技术12-22
• 2.1 Hadoop基础架构12-13
• 2.2 HDFS分布式文件系统13-15
• 2.3 Map-Reduce计算模式15-20
• 2.4 CURE聚类算法20-21
• 2.5 本章小结21-22
• 第三章 网络广告受众人群分类分析系统的设计22-30
• 3.1 需求分析22-27
• 3.1.1 需求和设计目标23-24
• 3.1.2 系统功能方法设计24-27
• 3.2 系统架构设计27-29
• 3.2.1 数据存储模块设计28-29
• 3.2.2 数据分析模块设计29
• 3.2.3 数据展现模块设计29
• 3.3 本章小结29-30
• 第四章 网络广告受众人群分类分析系统的实现30-43
• 4.1 数据存储模块的实现30-36
• 4.1.1 Cookie数据收集30-31
• 4.1.2 广告关键词汇总计算31-35
• 4.1.3 广告类别词加权归一35
• 4.1.4 数据的存储35-36
• 4.2 系统分析模块的实现36-40
• 4.2.1 人群聚类Map任务实现36-39
• 4.2.2 人群聚类Reduce任务实现39-40
• 4.3 系统展现模块的实现40-41
• 4.4 本章小结41-43
• 第五章 系统功能测试43-49
• 5.1 Hadoop环境配置43-46
• 5.1.1 硬件配置43-44
• 5.1.2 软件配置44
• 5.1.3 Hadoop配置过程44-46
• 5.2 展现系统运行结果46-48
• 5.3 本章小结48-49
• 第六章 总结与展望49-51
• 6.1 本文总结49-50
• 6.2 工作展望50-51
• 参考文献51-53
• 致谢53

【相似文献】

中国期刊全文数据库 前2条

1 陈若炜;覃文;李冉;;3G微博运营精细化分析的技术研究[J];邮电设计技术;2011年12期

2 ;[J];;年期

中国重要报纸全文数据库 前3条

1 张春杰;细化分析 防范批发业征管风险[N];中国税务报;2014年

2 罗尧治　郑延丰 张鹏飞;空间结构精细化分析方法概述[N];建筑时报;2014年

3 罗尧治　郑延丰 张鹏飞;空间结构精细化分析方法概述[N];建筑时报;2014年

中国硕士学位论文全文数据库 前1条

1 纪琳琳;基于Hadoop的精细化分析及其应用[D];南京邮电大学;2015年

  本文关键词：基于Hadoop的精细化分析及其应用，，由笔耕文化传播整理发布。

本文编号：426847