Hadoop的HDFS大数据存储技术

发布时间：2018-01-15 11:43

  本文关键词：Hadoop的HDFS大数据存储技术　出处：《电脑编程技巧与维护》2016年06期 　论文类型：期刊论文

  更多相关文章： 云存储 HDFS模型 分布式文件系统

【摘要】：Hadoop的HDFS是一个部署在廉价硬件设备上使用的分布式文件系统,具有高容错性,适合海量数据集的应用程序,可用来存储海量数据,为应用程序提供高吞吐量。HDFS开放了一些可移植操作系统接口,文件系统中数据的访问采用流的方式,在时下企业数据急剧膨胀,海量存储挑战严峻的情况下,提供了一个好的技术方法,海量数据的存储需求就是时下流行的云存储的概念,以存储海量视频数据为实例,介绍HDFS存储海量的过程。
[Abstract]:Hadoop HDFS is a deployment in cheap hardware devices on the distributed file system, with high fault tolerance, and suitable for the application of large data sets, can be used to store huge amounts of data, providing high throughput.HDFS open some portable operating system interface for the application program, data file system access by flow way in the current rapid expansion of enterprise data, mass storage challenges grim situation, provides a good technical method, the concept of the massive data storage requirements is the popular cloud storage, to store vast amounts of video data as an example, introduces the process of HDFS storage.

【作者单位】： 辽宁行政学院信息技术系;
【基金】：2014年辽宁省社会科学规划基金项目(L14BTQ005)
【分类号】：TP333
【正文快照】： 1 HDFS的特点HDFS的设计目标是为存储超大数据文件,与其他分布式文件系统最大的区别是“一次写入,多次读取”模型,该模型的优点是降低并发控制要求,简化数据聚合[1],支持高吞吐量的访问,具体如下:(1)硬件错误检测并自动恢复HDFS部署在大量的廉价的机器组成的集群中,结点故障是

【相似文献】

相关期刊论文 前10条

1 寒江约叟;N个资源一次看——分布式文件系统妙用[J];电脑应用文萃;2004年07期

2 黄华;张建刚;许鲁;;蓝鲸分布式文件系统的客户端元数据缓存模型[J];计算机科学;2005年09期

3 黄华;张敬亮;张建刚;许鲁;;蓝鲸分布式文件系统的物理资源管理模型[J];计算机工程;2006年06期

4 姚毓才;张琳娜;;浅析分布式文件系统原理及改进[J];铜陵学院学报;2008年06期

5 刘光博;;分布式文件系统在气象业务中的应用初探[J];气象研究与应用;2009年01期

6 岳卫荣;;浅谈分布式文件系统的使用[J];河南农业;2009年14期

7 何公明;许严;;高性能分布式文件系统相关技术研究[J];有线电视技术;2009年12期

8 薛志强;刘鹏;文艾;周游;许闯;;分布式文件系统管理策略研究[J];电脑知识与技术;2011年01期

9 田怡萌;李小勇;刘海涛;;分布式文件系统副本一致性检测研究[J];计算机研究与发展;2012年S1期

10 熊文;喻之斌;须成忠;;几个常见分布式文件系统特征分析和性能对比(英文)[J];集成技术;2012年04期

相关会议论文 前4条

1 华清;黄林鹏;;基于分片、松耦合的分布式文件系统的设计与实现[A];2006年全国开放式分布与并行计算学术会议论文集（二）[C];2006年

2 洪穗;;微软WINDOWS Server 2003 R2分布式文件系统解决方案分析[A];中国新闻技术工作者联合会2008年学术年会论文集（上）[C];2008年

3 罗志明;张大华;王电钢;常健;;电力分布式云存储关键技术研究[A];2012年电力通信管理暨智能电网通信技术论坛论文集[C];2013年

4 徐文斌;;大数据时代的交管综合应用云平台[A];第八届中国智能交通年会论文集[C];2013年

相关重要报纸文章 前10条

1 国家高性能计算机工程技术研究中心 黄华 杨德志 张建刚;分布式文件系统的历史与现状[N];中国计算机报;2005年

2 国家高性能计算机工程技术研究中心 黄华 杨德志 张建刚;分布式文件系统趋向成熟[N];中国计算机报;2005年

3 国防科学技术大学计算机学院软件所 董勇 周恩强;构建分布式文件系统[N];中国计算机报;2005年

4 ;分布式文件系统一瞥[N];网络世界;2002年

5 王春海 刘立;分布式文件系统在网络中的应用[N];电脑报;2004年

6 ;Hadoop：为构建海量数据架构而生[N];人民邮电;2012年

7 本报记者 于翔;“大数据”的大承诺[N];网络世界;2010年

8 IBM大数据专家 James Kobielus　范范 编译;YARN动摇了MapReduce对Hadoop的掌控[N];网络世界;2013年

9 张力平;云计算和物联网的美妙融合[N];学习时报;2014年

10 《网络世界》记者 于翔;大数据治理多管齐下[N];网络世界;2012年

相关博士学位论文 前4条

1 赵铁柱;分布式文件系统性能建模及应用研究[D];华南理工大学;2011年

2 史小冬;分布式文件系统高可用问题研究[D];中国科学院研究生院（计算技术研究所）;2002年

3 黄华;蓝鲸分布式文件系统的资源管理[D];中国科学院研究生院（计算技术研究所）;2005年

4 杨德志;分布式文件系统可扩展元数据服务关键问题研究[D];中国科学院研究生院（计算技术研究所）;2008年

，

本文编号：1428188