基于Hadoop平台的大数据应用系统架构的研究与实现

发布时间：2016-12-31 19:57

  本文关键词：基于网络流量监测的移动互联网特征研究，，由笔耕文化传播整理发布。

《北京邮电大学》 2014年

基于Hadoop平台的大数据应用系统架构的研究与实现

任建新  

【摘要】：伴随着Web2.0概念的兴起,“用户生成内容”：(User Generated Content, UGC)得到了广泛的关注。同时由于“大数据时代”的来临,以新浪微博为代表的新兴社交网络媒体每天产出大量的富含巨大商业、社会价值的UGC内容,仅以传统的数据挖掘系统分析这些UGC内容已经很难跟上“时代”的步伐。于是,如何提供一个可靠的大数据处理平台将是一个非常有意义的研究项目。 通过研究Hadoop核心技术及其生态环境中的一些子项目,本文实现了一个用于处理大规模数据集的可扩展的大数据应用系统架构并以层次模型的方式将该架构组织为四个层次：平台层、数据层、业务逻辑层和应用层。本文也从层次这个角度出发,以章为单位具体介绍了各层主要技术的细节与优化。分别探讨了诸如Hadoop、HBase的优化；MapReduce编程模式；Mahout技术细节与聚类等算法实现方式等等。之后,结合顾客价值层次模型(CVH)和神经网络分类模型,提出了一个分布式品牌价值模型并成功部署在架构应用层之上,完善了整个系统架构的研究与实现。最后,论文总结了各层的研究内容对可能需要完善和改进的部分进行了说明,并讨论了相应部分未来可行的研究方向。

【关键词】：
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP311.13
【目录】：

下载全文 更多同类文献

CAJ全文下载

(如何获取全文？ 欢迎：购买知网充值卡、在线充值、在线咨询)

CAJViewer阅读器支持CAJ、PDF文件格式

【参考文献】

中国期刊全文数据库 前1条

1 朱晨杰;杨永丽;;基于MapReduce的BP神经网络算法研究[J];微型电脑应用;2012年10期

【共引文献】

中国期刊全文数据库 前10条

1 李红;;基于Google Bigtable的海量数据存储探索[J];鞍山师范学院学报;2013年04期

2 郎波;张博宇;;面向大数据的非结构化数据管理平台关键技术[J];信息技术与标准化;2013年10期

3 邵景峰;崔尊民;王进富;白晓波;;大数据下纺织制造执行系统的构建[J];纺织器材;2013年06期

4 张亚楠;谭跃生;;基于MapReduce的并行遮盖文本聚类算法[J];内蒙古科技大学学报;2013年03期

5 周国亮;朱永利;王桂兰;;CC-MRSJ:Hadoop平台下缓存敏感的星型联接算法[J];电信科学;2013年10期

6 杨震;徐敏捷;刘璋峰;秦达;姚晓辉;;语音大数据信息处理架构及关键技术研究[J];电信科学;2013年11期

7 唐宏;;基于MapReduce的大规模流量分析系统的设计[J];电信科学;2013年12期

8 王鹏;黄焱;刘峰;安俊秀;;大数据技术中计算与数据的协作机制[J];成都信息工程学院学报;2014年01期

9 杜政颉;王鹏;黄焱;郎福通;;一种基于Storm编程模型的迭代Topology方案[J];成都信息工程学院学报;2014年01期

10 范飞;黄文明;邓珍荣;;Oozie工作流在Mahout分布式数据挖掘中的应用[J];桂林电子科技大学学报;2014年01期

中国重要会议论文全文数据库 前9条

1 王乃静;杜涛;;顾客价值及顾客价值链的构建[A];21世纪数量经济学（第5卷）[C];2004年

2 祁昊颖;;大数据时代电信运营商文件系统新思考[A];2013年中国信息通信研究新进展论文集[C];2014年

3 乔媛媛;刘芳;凌艳;尹劲松;;云计算环境下MapReduce的资源建模与性能预测[A];2013年全国通信软件学术会议论文集[C];2013年

4 徐子伟;张陈斌;陈宗海;;大数据技术概述[A];系统仿真技术及其应用学术论文集（第15卷）[C];2014年

5 Xiaoguang Han;Jigang Sun;Wu Qu;Xuanxia Yao;;Distributed Malware Detection based on Binary File Features in Cloud Computing Environment[A];第26届中国控制与决策会议论文集[C];2014年

6 陈佐旗;余柏蒗;吴健平;;基于GPU通用计算的遥感数据处理——以计算地表太阳辐射值为例[A];第十八届中国环境遥感应用技术论坛论文集[C];2014年

7 白永超;付伟;辛阳;;基于Hadoop和Nutch的分布式搜索引擎研究与仿真[A];第十九届全国青年通信学术年会论文集[C];2014年

8 李超越;徐国胜;;Hadoop公平调度算法的改进[A];第十九届全国青年通信学术年会论文集[C];2014年

9 汪中琳;乔自知;郭景赞;;移动运维支撑系统的互联网思维重构[A];2014全国无线及移动通信学术大会论文集[C];2014年

中国博士学位论文全文数据库 前10条

1 刘庆强;河北省农村新民居建设中基于感知价值的农民需求意愿研究[D];北京林业大学;2013年

2 孙茂华;安全多方计算及其应用研究[D];北京邮电大学;2013年

3 李健;云计算环境下最小化运营开销的调度技术研究[D];北京邮电大学;2013年

4 胡德鹏;基于农业本体问句分析的问答系统研究与架构设计[D];中国农业科学院;2013年

5 王金宝;云计算系统中索引与查询处理技术研究[D];哈尔滨工业大学;2013年

6 韩晶;大数据服务若干关键技术研究[D];北京邮电大学;2013年

7 董超;基于网络流量监测的移动互联网特征研究[D];北京邮电大学;2013年

8 程祥;高效可靠的虚拟网络映射技术研究[D];北京邮电大学;2013年

9 李韧;基于Hadoop的大规模语义Web本体数据查询与推理关键技术研究[D];重庆大学;2013年

10 卢风顺;面向CPU/GPU异构体系结构的并行计算关键技术研究[D];国防科学技术大学;2012年

中国硕士学位论文全文数据库 前10条

1 张宁;基于顾客价值的企业差异化路径研究[D];郑州大学;2013年

2 张范守;顾客感知价值与超市自有品牌购买意愿关系研究：信息搜寻行为的调节效应[D];浙江理工大学;2013年

3 阳梨;日本传统节庆的游客感知价值研究[D];湖南师范大学;2013年

4 胡敏觉;云计算技术在景区商务智能中的应用研究[D];合肥工业大学;2013年

5 陈丁一;基于感知价值理论的再制造企业产品竞争优势实证研究[D];北京交通大学;2013年

6 胡建华;微博用户行为与影响力分析系统的研究[D];北京交通大学;2013年

7 张群;基于客户感知的XX移动企业资费套餐服务满意度提升研究[D];北京邮电大学;2012年

8 李慧丽;十堰市“居易春·上城”房地产项目营销模式研究[D];华中师范大学;2013年

9 范月明;游客景区体验影响因素及其作用研究[D];华南理工大学;2013年

10 贺林;小米手机公司的发展战略研究[D];北京邮电大学;2013年

【相似文献】

中国期刊全文数据库 前10条

1 逄利华;张锦春;;基于Hadoop的分布式数据库系统[J];办公自动化;2014年05期

2 郑玮;;Hadoop释放大数据潜能[J];软件和信息服务;2012年10期

3 刘尔凯;崔振东;;基于HADOOP技术 实现银行历史数据线上化研究[J];金融电子化;2014年01期

4 邹群;;一种基于Hadoop的数字图书存储系统设计方案[J];黑龙江史志;2014年01期

5 ;大数据不等于Hadoop[J];办公自动化;2014年06期

6 谌章义;毕伟;向万红;王国安;吴爱国;;基于Hadoop的海量电费数据处理模型[J];计算机系统应用;2014年05期

7 王峰;雷葆华;;Hadoop分布式文件系统的模型分析[J];电信科学;2010年12期

8 ;保障Hadoop数据安全的十大措施[J];计算机与网络;2013年08期

9 林伟伟;;一种改进的Hadoop数据放置策略[J];华南理工大学学报(自然科学版);2012年01期

10 苏小会;何婧媛;;Hadoop中任务调度算法的改进[J];电子设计工程;2012年22期

中国重要报纸全文数据库 前8条

1 本报记者 郭涛;[N];中国计算机报;2013年

2 本报记者 王星;[N];电脑报;2012年

3 本报记者 邹大斌;[N];计算机世界;2012年

4 孙定;[N];计算机世界;2011年

5 乐天　编译;[N];计算机世界;2012年

6 范范　编译;[N];网络世界;2013年

7 波波　编译;[N];网络世界;2013年

8 本报记者 郭涛;[N];中国计算机报;2012年

中国硕士学位论文全文数据库 前10条

1 高仲峰;基于Hadoop平台的桥梁结构健康监测系统的应用[D];西安科技大学;2012年

2 张丽云;基于Hadoop的企业知识管理系统的主要功能的研究与实现[D];东北师范大学;2014年

3 杨宁;基于Hadoop平台的广告检测系统研究与实现[D];复旦大学;2012年

4 张兴平;基于Hadoop的微博用户情感分类研究与实现[D];西安电子科技大学;2014年

5 汤艳;基于Hadoop架构的移动终端云资源访问模式研究与应用[D];北京工业大学;2013年

6 张建;基于Hadoop的云计算模型研究及气象应用[D];南京信息工程大学;2012年

7 刘寅;Hadoop下基于贝叶斯分类的气象数据挖掘研究[D];南京信息工程大学;2012年

8 邰建华;Hadoop平台下的海量数据存储技术研究[D];东北石油大学;2012年

9 李金朋;基于Hadoop平台的重叠社区发现算法研究[D];吉林大学;2014年

10 潘振鹏;基于Hadoop的文本分类系统的设计与实现[D];哈尔滨工业大学;2013年

  本文关键词：基于网络流量监测的移动互联网特征研究，由笔耕文化传播整理发布。

本文编号：230005