云计算平台中数据存储与文件管理的研究

发布时间：2020-07-14 22:28

【摘要】：随着数字技术和互联网的快速发展,互联网提供的服务种类越来越多,需要处理的数据量也越大。如何处理好海量的数据与服务,有效地为用户提供方便、快捷的网络服务日益重要。云计算的到来为解决海量数据问题提供了良好的途径,它提供了安全可靠的数据存储、方便快捷的互联网服务和强大的计算能力,改变了传统以PC机为基础的生产模式,最终改变人们获取信息。同时,随着云计算的推广和流行,如何高速率、低成本储存和管理生成于云端的大量数据,也成为了各大企业和组织研究重点,这就需要有良好的云结构设计、数据存储及处理模式和云存储平台的设计目前的云计算平台中的存储设计主要有Google的GFS和Hadoop的HDFS。但是,在GFS和HDFS中在都存在节点失效的问题。节点失效将对云平台带来不利影响,尤其是服务器节点失效影响更大。因此解决单节点甚至双节点同时实效成为一个重要的问题。针对节点失效这个问题,本文拟采用云计算与P2P相结合的方式搭建架构平台,即在存储数据的节点之间与其子服务节点之间采用云计算方式存储,在服务节点之间采用全分布式非结构化拓扑使得服务节点S之间是完全对等的模式,也就是一种混合拓扑结构模式。采用全分布式非结构化拓扑的非结构化系统中,出于冗余度以及延时的考虑,大部分DHT总是在节点的虚拟标识与关键字最接近的节点上复制备份冗余信息,这样也避免了单一节点失效的问题。这种混合拓扑结构模式可以有效的解决服务器节点失效的问题,构建可信服务器节点的云计算基础架构。同时,由于云计算中心需要面对的应用种类、数量和规模是前所未有的,所以应用及用户隔离技术是云计算中心需要考虑的问题。在隔离技术上数据的隔离是最为重要的,我们采用一种目录映射的单向指针分层用户隔离的方法以便于有效地实现了用户数据的隔离。接着,本文重点分析并给出云计算平台中数据存储方式,不同于关系数据库的、适用于云计算的一种基于列模式的映射数据存储模式,这种模式的数据表结构它是一个稀疏的,分布的,持续多维度的排序映射数组。最后,给出云存储平台设计的系统结构和分布式存储流程以及系统管理节点、子节点和客户端节点的模块设计
【学位授予单位】：广东工业大学
【学位级别】：硕士
【学位授予年份】：2011
【分类号】：TP333
【图文】：

市场规模,增长情况,市场产品

150.0爵市场规模一冲增长率图2一 12008年一2009年中国云计算市场规模及增长情况 FigureZ一 1The2008一 2009ChinaCloudCo一 nPutingMarketSizeandGrowthSituation2009年中国云计算市场产品结构如图2一2，SaaS占云计算市场规模的达87.8%，为354.2亿;PaaS、IaaS分别占到云计算整体市场的n.8%和0.4%，分别为47.6亿、 1.7亿。IaaS1.7亿元 0.4叹PaaS47.6亿图2一22009年中国云计算市场产品结构 FigureZ一 22009CloudCo一nPuti一 19MarketProduetStruetureinChina2008年初，IBM与无锡市政府合作建立了无锡软件园云计算中心，开始了云计算在中国的商业应用。目前，无锡云计算中心现己成为业内领先的云计算提供商，能够贯穿PaaS(平台即服务)、SaaS(软件即服务)和IaaS(基础架构即服务)，从这三个角度提供服务。从PaaS(平台即服务)角度出发

市场产品,市场规模

体系结构图,体系结构,临时文件

图2一6HOFs的体系结构 FigureZ一 6HadooPDistributedFileSystemArehitectureHDFS的体系结构如图2一6所示，从图中可以看出，Namenode，Datanode，Client之间的通信都是建立在TCP/IP的基础之上的。当Client要执行一个写入的操作的时候，命令不是立刻就发送到Namenode，而是Client先在本机上临时文件夹中暂时保存这些数据，临时文件夹设有一定的B10ck的值，通常默认是64M

【共引文献】