基于云计算的海量数据存储技术的研究及应用
发布时间：2022-02-15 00:00
云计算（Cloud Computing）是在2007年第3季度才诞生的新名词,但仅仅过了半年多,其就成为当今计算机界一个研究热点,业内外人士对其发展情况和实用价值都表现出非常的关注。对于云计算的研究在各大公司及院校相继展开。云计算是一种新兴的共享基础架构的方法,最终将成为一种普及性服务。云计算从实质上来说是网格计算和分布式计算的延伸。基于这一点,本文分析并比较现有的分布式存储和计算技术等,结合Hadoop的集群技术的研究,提出了基于Hadoop的海量数据存储模型,并从数据结构设计、模型设计、功能模块和编程技术的使用等几个方面来介绍该模型的开发方法,最后将该模型应用于海量数据处理（词频统计）中。该技术还可以应用在诸多海量数据处理领域中,例如:web日志处理、搜索引擎、大规模文件存储等。本课题利用前沿的分布式框架技术,将模型很好地部署到实例当中,与非分布式状态运行的系统进行比较,用实验来检验其性能。本课题的特点是将研究的模型与词频统计应用相结合,利用前沿的分布式框架技术来很好地满足项目的需求,并将模型部署到实例当中,用实验结果来检验模型的实用价值,比如高效率、低成本、可拓展性和易维护性等。...
【文章来源】：武汉科技大学湖北省
【文章页数】：58 页
【学位级别】：硕士
【部分图文】：
GFS的系统架构
武汉科技大学 硕士学位论文 第 7 页图2.2 面向服务的亚马逊平台架构接下来介绍亚马逊云计算中的弹性MapReduce服务。亚马逊的弹性MapReduce是通过EC2和S3来实现的，其基本框架如图2.3所示：图2.3 亚马逊的弹性 MapReduce 基本框图用户在使用弹性 MapReduce 时，首先要将相关数据上传至 S3，在亚马逊弹性MapReduce 中，S3作为原始数据和处理结果的存储系统。需要上传的相关数据中既包括用户待处理的数据，也包括一个 Mapper 和一个 Reduce 执行代码。弹性 MapReduce 的运行过程非常简单，用户根本不需要考虑计算中涉及的服务器部署、维护以及软件环境的配置。除了这些基本的设置不需要用户处理之外，亚马逊在可靠性、数据安全等方面也采取
图2.2 面向服务的亚马逊平台架构接下来介绍亚马逊云计算中的弹性MapReduce服务。亚马逊的弹性MapReduce是通过EC2和S3来实现的，其基本框架如图2.3所示：图2.3 亚马逊的弹性 MapReduce 基本框图用户在使用弹性 MapReduce 时，首先要将相关数据上传至 S3，在亚马逊弹性MapReduce 中，S3作为原始数据和处理结果的存储系统。需要上传的相关数据中既包括用户待处理的数据，也包括一个 Mapper 和一个 Reduce 执行代码。弹性 MapReduce 的运行过程非常简单，用户根本不需要考虑计算中涉及的服务器部署、维护以及软件环境的配置。除了这些基本的设置不需要用户处理之外，亚马逊在可靠性、数据安全等方面也采取
【参考文献】：
期刊论文
[1]云计算应用现状与趋势[J]. 袁正午,李琦. 数字通信. 2010(03)
[2]Google云计算平台的技术架构及对其成本的影响研究[J]. 孙健,贾晓菁. 电信科学. 2010(01)
[3]云计算与网格计算的比较[J]. 沈舒. 软件导刊. 2009(12)
[4]云计算及其在军事上的应用探讨[J]. 曾丽君,张红梅,李中林. 现代电子技术. 2009(23)
[5]面向云计算的网络化平台研究与实现[J]. 史佩昌,王怀民,蒋杰,卢凯. 计算机工程与科学. 2009(S1)
[6]IBM云计算:从理想到实践[J]. 刘琦琳. 互联网周刊. 2009(11)
[7]改进SPRINT算法及其在分布式环境下的研究[J]. 于蕾,刘大有,高滢,田野. 吉林大学学报(理学版). 2008(06)
[8]云端的小飞象—Hadoop[J]. 孙牧. 程序员. 2008(10)
[9]MapReduce模型的调度及容错机制研究[J]. 孙广中,肖锋,熊曦. 微电子学与计算机. 2007(09)
[10]信息生命周期理论在企业数据中心的应用研究[J]. 王印红,郭相坤. 中国管理信息化(综合版). 2007(03)
硕士论文
[1]云计算中的深度包检测技术研究[D]. 李扬.中国科学技术大学 2010
[2]云环境下作业调度算法研究与实现[D]. 赵春燕.北京交通大学 2009
[3]基于Hadoop平台的通信数据分布式查询算法的设计与实现[D]. 陈勇.北京交通大学 2009
[4]云计算中的网络拓扑设计和Hadoop平台研究[D]. 邓自立.中国科学技术大学 2009
[5]基于Map/Reduce的分布式智能搜索引擎框架研究[D]. 付志超.武汉理工大学 2008
[6]基于Hadoop的海量数据处理模型研究和应用[D]. 朱珠.北京邮电大学 2008
本文编号：3625504
【文章来源】：武汉科技大学湖北省
【文章页数】：58 页
【学位级别】：硕士
【部分图文】：
GFS的系统架构
武汉科技大学 硕士学位论文 第 7 页图2.2 面向服务的亚马逊平台架构接下来介绍亚马逊云计算中的弹性MapReduce服务。亚马逊的弹性MapReduce是通过EC2和S3来实现的，其基本框架如图2.3所示：图2.3 亚马逊的弹性 MapReduce 基本框图用户在使用弹性 MapReduce 时，首先要将相关数据上传至 S3，在亚马逊弹性MapReduce 中，S3作为原始数据和处理结果的存储系统。需要上传的相关数据中既包括用户待处理的数据，也包括一个 Mapper 和一个 Reduce 执行代码。弹性 MapReduce 的运行过程非常简单，用户根本不需要考虑计算中涉及的服务器部署、维护以及软件环境的配置。除了这些基本的设置不需要用户处理之外，亚马逊在可靠性、数据安全等方面也采取
图2.2 面向服务的亚马逊平台架构接下来介绍亚马逊云计算中的弹性MapReduce服务。亚马逊的弹性MapReduce是通过EC2和S3来实现的，其基本框架如图2.3所示：图2.3 亚马逊的弹性 MapReduce 基本框图用户在使用弹性 MapReduce 时，首先要将相关数据上传至 S3，在亚马逊弹性MapReduce 中，S3作为原始数据和处理结果的存储系统。需要上传的相关数据中既包括用户待处理的数据，也包括一个 Mapper 和一个 Reduce 执行代码。弹性 MapReduce 的运行过程非常简单，用户根本不需要考虑计算中涉及的服务器部署、维护以及软件环境的配置。除了这些基本的设置不需要用户处理之外，亚马逊在可靠性、数据安全等方面也采取
【参考文献】：
期刊论文
[1]云计算应用现状与趋势[J]. 袁正午,李琦. 数字通信. 2010(03)
[2]Google云计算平台的技术架构及对其成本的影响研究[J]. 孙健,贾晓菁. 电信科学. 2010(01)
[3]云计算与网格计算的比较[J]. 沈舒. 软件导刊. 2009(12)
[4]云计算及其在军事上的应用探讨[J]. 曾丽君,张红梅,李中林. 现代电子技术. 2009(23)
[5]面向云计算的网络化平台研究与实现[J]. 史佩昌,王怀民,蒋杰,卢凯. 计算机工程与科学. 2009(S1)
[6]IBM云计算:从理想到实践[J]. 刘琦琳. 互联网周刊. 2009(11)
[7]改进SPRINT算法及其在分布式环境下的研究[J]. 于蕾,刘大有,高滢,田野. 吉林大学学报(理学版). 2008(06)
[8]云端的小飞象—Hadoop[J]. 孙牧. 程序员. 2008(10)
[9]MapReduce模型的调度及容错机制研究[J]. 孙广中,肖锋,熊曦. 微电子学与计算机. 2007(09)
[10]信息生命周期理论在企业数据中心的应用研究[J]. 王印红,郭相坤. 中国管理信息化(综合版). 2007(03)
硕士论文
[1]云计算中的深度包检测技术研究[D]. 李扬.中国科学技术大学 2010
[2]云环境下作业调度算法研究与实现[D]. 赵春燕.北京交通大学 2009
[3]基于Hadoop平台的通信数据分布式查询算法的设计与实现[D]. 陈勇.北京交通大学 2009
[4]云计算中的网络拓扑设计和Hadoop平台研究[D]. 邓自立.中国科学技术大学 2009
[5]基于Map/Reduce的分布式智能搜索引擎框架研究[D]. 付志超.武汉理工大学 2008
[6]基于Hadoop的海量数据处理模型研究和应用[D]. 朱珠.北京邮电大学 2008
本文编号：3625504
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/3625504.html
