基于Hadoop的分布式副本策略研究

发布时间：2016-11-23 15:46

  本文关键词：“云”时代企业危机传播机理及管理研究，由笔耕文化传播整理发布。

《河北工程大学》 2015年

基于Hadoop的分布式副本策略研究

冯汉超  

【摘要】：随着互联网的快速发展,网络中产生的数据量呈指数级增长趋势,如何对海量数据进行高效的存取已经成了计算机领域的一个研究热点。HDFS(Hadoop Distributed File System)是Hadoop的一个分布式文件系统,它可以部署运行在普通的硬件服务器上。HDFS具有高可靠性,支持海量数据的高效存取。HDFS放开了部分POSIX约束,支持以流的形式读写数据。HDFS仍是一个处在发展和完善阶段的云存储系统,现有的数据管理策略依然存在许多不足之处。HDFS现有的副本管理策略在创建副本时,创建的副本个数是固定的;创建的副本在选取存储节点Datanode时,采用的是随机选取的算法。现有的副本管理策略存在系统存储空间的浪费,集群负载不均衡,性能不高等问题。本文通过对HDFS分布式文件系统的存储原理进行分析,结合云存储领域的相关知识、理论,对HDFS现有的副本管理策略进行了改进。主要包括以下方面的内容:(1)对HDFS默认的副本放置策略进行了改进。HDFS默认的数据放置策略是随机选取Datanode节点进行副本存放。然而集群中每个Datanode节点的性能和负载是不一致的,集群中有些节点处于高负荷状态,有些节点处于低负荷状态,有一些节点是新加入的;随机的选取Datanode节点进行副本存放,集群容易产生负载不均衡。改进后的副本放置策略通过对Datanode节点的性能和负载进行分析,根据得到的权值选择最优的节点进行副本的放置。(2)对HDFS默认的副本创建策略进行了改进。改进后的策略通过对文件最近一段时间的访问热度和访问趋势进行统计分析,根据文件的访问热度值和访问趋势动态的调整副本的个数;根据系统的可靠性要求和副本的可用性计算副本的默认创建个数。改进后的策略使得集群的整体性能和数据处理效率得到了进一步的提升。(3)搭建HDFS分布式存储环境,分别对改进的副本放置策略和副本创建策略进行实验验证。实验结果表明改进后的副本管理策略充分利用了集群中各个Datanode节点的性能,提高了集群的可靠性和处理速度,更好的实现了集群的负载均衡。

【关键词】：
【学位授予单位】：河北工程大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333
【目录】：

下载全文 更多同类文献

CAJ全文下载

(如何获取全文？ 欢迎：购买知网充值卡、在线充值、在线咨询)

CAJViewer阅读器支持CAJ、PDF文件格式

【参考文献】

中国期刊全文数据库 前3条

1 崔杰;李陶深;兰红星;;基于Hadoop的海量数据存储平台设计与开发[J];计算机研究与发展;2012年S1期

2 李乔;郑啸;;云计算研究现状综述[J];计算机科学;2011年04期

3 多雪松;张晶;高强;;基于Hadoop的海量数据管理系统[J];微计算机信息;2010年13期

中国博士学位论文全文数据库 前1条

1 安宝宇;云存储中数据完整性保护关键技术研究[D];北京邮电大学;2012年

中国硕士学位论文全文数据库 前4条

1 董昌坤;基于HDFS的分布式云存储系统的设计与实现[D];北京邮电大学;2013年

2 赵少锋;云存储系统关键技术研究[D];郑州大学;2013年

3 潘富斌;基于Hadoop的安全云存储系统研究与实现[D];电子科技大学;2013年

4 张富政;云存储安全技术的研究[D];长春理工大学;2014年

【共引文献】

中国期刊全文数据库 前10条

1 徐鹏;陈思;苏森;;互联网应用PaaS平台体系结构[J];北京邮电大学学报;2012年01期

2 孙传明;路红;廖龙龙;;基于云操作系统的网络互动学习平台开发研究[J];中国远程教育;2012年06期

3 王琴;王宝俊;;基于云计算的虚拟多媒体教室的研究与架构[J];电化教育研究;2012年01期

4 陈小燕;;云计算的应用与研究[J];电脑编程技巧与维护;2012年12期

5 韩志宏;曾庆燕;杜彦涛;王子虎;章欢乐;;云终端电子阅览室架构的经济性分析与实践[J];电脑知识与技术;2012年03期

6 付艳娟;李国平;赵海武;滕国伟;王国中;李萍;;基于云计算的数字电视前端系统的研究与实现[J];电视技术;2012年10期

7 白丽瑞;李彤;谢仲文;宋琛;;基于成本利润Petri网的应用云计费模式分析[J];电信科学;2012年01期

8 吴俊;徐溟;;公有云服务计费模式比较研究[J];电信科学;2012年01期

9 李秀娟;;从专利保护规则看多方参与云计算专利[J];电子知识产权;2011年12期

10 孙福权;张达伟;程勖;刘超;;基于Hadoop企业私有云存储平台的构建[J];辽宁工程技术大学学报(自然科学版);2011年06期

中国博士学位论文全文数据库 前10条

1 李韧;基于Hadoop的大规模语义Web本体数据查询与推理关键技术研究[D];重庆大学;2013年

2 冯振乾;云计算数据中心的网络带宽隔离技术研究[D];国防科学技术大学;2012年

3 伍琦;云环境下数据存储安全技术研究[D];江西财经大学;2013年

4 曹盈盈;10G以太无源光网络前向纠错等关键技术的研究[D];北京邮电大学;2013年

5 王宁;云计算环境下数据管理与任务调度优化策略研究[D];北京科技大学;2015年

6 余日季;基于AR技术的非物质文化遗产数字化开发研究[D];武汉大学;2014年

7 杜钦生;高维空间的K最近邻查询及连接问题研究[D];吉林大学;2015年

8 王金金;云计算服务模式下的知识产权保护研究[D];中国科学技术大学;2015年

9 李宇昕;地质勘查物流与信息流融合关键技术与应用研究[D];中国地质大学(北京);2015年

10 刘奕;“云”时代企业危机传播机理及管理研究[D];东华大学;2015年

中国硕士学位论文全文数据库 前10条

1 李芳芳;个人数据空间管理系统中数据抽取及语义关联构建[D];北京交通大学;2011年

2 张梓钧;基于HADOOP架构的社保项目网络日志分析系统的研究[D];电子科技大学;2011年

3 苏奎;云计算平台下的电子政务基础设施研究[D];山东师范大学;2012年

4 张喜;海量数据存储模式的研究[D];广东工业大学;2012年

5 陈玲玲;基于Hadoop的Web文本挖掘的关键技术研究[D];浙江理工大学;2012年

6 王学新;第四方物流在云计算环境下的区域整合研究[D];大连海事大学;2012年

7 张钰培;基于云计算平台的网络运行管理系统的设计与实现[D];吉林大学;2012年

8 刘菲军;云计算下虚拟机部署机制的研究[D];太原理工大学;2012年

9 李秋红;中国云计算技术开发的问题与对策研究[D];渤海大学;2012年

10 周进;物联网数据中心模式的电池化成测试系统控制技术研究[D];武汉理工大学;2012年

【二级参考文献】

中国期刊全文数据库 前10条

1 杨亚平,李伟琴;基于SSL的数据安全传输系统的设计与实现[J];北京航空航天大学学报;2001年04期

2 冯常青;师明珠;;多线程文件断点续传[J];电脑编程技巧与维护;2006年08期

3 何海钊;王虎奇;;数据库连接与访问技术的研究与应用[J];电脑知识与技术;2009年01期

4 唐箭;;云存储系统的分析与应用研究[J];电脑知识与技术;2009年20期

5 蔡键;王树梅;;基于Google的云计算实例分析[J];电脑知识与技术;2009年25期

6 郭锋;刘建伟;;基于Socket的局域网络通信软件开发[J];电子科技;2009年05期

7 黄勤,谷振宇,刘易良;PKI/CA系统互操作技术实现模型分析[J];重庆大学学报(自然科学版);2003年12期

8 李向军;;基于云计算的数据存储系统研究[J];硅谷;2010年19期

9 辛大欣;刘飞;;Hadoop集群性能优化技术研究[J];电脑知识与技术;2011年22期

10 张晓明;姜本臣;;一种AJAX结合CGI的嵌入式瘦Web服务器的研究[J];信息技术;2011年12期

中国博士学位论文全文数据库 前1条

1 吴吉义;基于DHT的开放对等云存储服务系统研究[D];浙江大学;2011年

中国硕士学位论文全文数据库 前10条

1 张唯维;云计算用户数据传输与存储安全方案研究[D];北京邮电大学;2011年

2 康利山;云安全中基于身份的认证机制研究[D];云南大学;2011年

3 杨勇;基于DFS的构建服务器集群技术的研究与实现[D];成都理工大学;2011年

4 杨坤;基于Hadoop的云存储系统客户端的设计与实现[D];华中科技大学;2011年

5 王雁;Windows环境下的一种安全磁盘[D];四川大学;2006年

6 吕宁;基于REST架构的Atom Feed存储集群研究与设计[D];北京交通大学;2008年

7 孙杨;基于REST风格构建Web服务的研究与应用[D];电子科技大学;2009年

8 林海元;基于Windows文件系统微过滤驱动模型的文件透明加解密系统的研究与实现[D];浙江工业大学;2009年

9 陈勉;基于新一代过滤驱动框架的安全文件内核开发[D];西南交通大学;2009年

10 刘贤斌;虚拟盘安全存储研究[D];华中科技大学;2008年

【相似文献】

中国期刊全文数据库 前10条

1 李红;蓝光存储系统 光盘容量高达23G[J];信息记录材料;2004年01期

2 ;存储系统 金融行业应用卓越奖 医疗行业应用卓越奖[J];每周电脑报;2004年20期

3 诺拉;EMC Symmetrix DMX-3存储系统 超大容量 高速存取[J];中国计算机用户;2005年31期

4 谢世诚;;浪潮推出4Gb光纤存储系统[J];微型机与应用;2006年07期

5 ;昆腾分级存储系统[J];软件世界;2009年11期

6 ;超低功耗云存储系统或被地方政府看好[J];中国有线电视;2013年08期

7 汤赫男;;云存储系统的分析与应用研究[J];计算机光盘软件与应用;2013年24期

8 谌伟;;云存储系统的分析与应用探讨[J];数字技术与应用;2013年10期

9 雅君;跟上企业的匆匆脚步——利用HP SureStoreEXP256构筑企业存储系统[J];中国计算机用户;2000年08期

10 贾莉;;Symmetrix8000实现19TB存储[J];每周电脑报;2000年18期

中国重要会议论文全文数据库 前10条

1 赵志刚;;存储系统在企业信息化中的应用[A];2005年安徽通信论文集[C];2006年

2 黄晓峰;张杰;;矿井信息中心存储系统设计[A];安全高效矿井机电装备及信息化技术——陕西省煤炭学会学术年会论文集（2011）[C];2011年

3 孙哲;李昌银;;构建核电高可用云存储系统[A];2012电力行业信息化年会优秀论文专辑[C];2012年

4 焦超;周天彤;李祥学;李建华;;面向灾备的高性能可信存储系统设计[A];第十一届保密通信与信息安全现状研讨会论文集[C];2009年

5 汪位龙;;设计院存储系统建设初探[A];中国公路学会计算机应用分会2004年年会学术论文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存储系统分析[A];2009年中国高校通信类院系学术研讨会论文集[C];2009年

7 王克敏;张玺;胡江凯;王毅涛;;NWP资料归档方法及其存储系统的应用[A];中国气象学会2006年年会“中尺度天气动力学、数值模拟和预测”分会场论文集[C];2006年

8 孙哲;李昌银;;DeDu:基于云计算的冗余删除存储系统[A];电力行业新一代信息技术研讨会论文集[C];2011年

9 高小伍;党齐民;林晨;;校园网存储系统的研究与实现[A];中国高等教育学会教育信息化分会第十次学术年会论文集[C];2010年

10 宫海林;郭长国;苑洪亮;王怀民;;支持事务的非结构化数据聚合存储系统GSL[A];2006年全国开放式分布与并行计算机学术会议论文集（三）[C];2006年

中国重要报纸全文数据库 前10条

1 ;[N];中国高新技术产业导报;2005年

2 本报记者 薛斐;[N];计算机世界;2002年

3 单群一;[N];中国税务报;2007年

4 ;[N];人民邮电;2006年

5 ;[N];人民邮电;2006年

6 郭;[N];计算机世界;2007年

7 陈耀光;[N];中国企业报;2001年

8 ;[N];网络世界;2009年

9 ;[N];网络世界;2009年

10 临履;[N];网络世界;2001年

中国博士学位论文全文数据库 前10条

1 陆承涛;存储系统性能管理问题的研究[D];华中科技大学;2010年

2 聂雪军;内容感知存储系统中信息信息生命周期管理关键技术研究[D];华中科技大学;2011年

3 罗东健;大规模存储系统高可靠性关键技术研究[D];华中科技大学;2011年

4 聂雪军;内容感知存储系统中信息生命周期管理关键技术研究[D];华中科技大学;2010年

5 王鹏;低密度奇偶校验码应用于存储系统的关键技术研究[D];华中科技大学;2013年

6 刁莹;用数学建模方法评价存储系统性能[D];哈尔滨工程大学;2013年

7 符青云;面向大规模流媒体服务的高性能存储系统研究[D];电子科技大学;2009年

8 王玉林;多节点容错存储系统的数据与缓存组织研究[D];电子科技大学;2010年

9 田敬;对等存储系统中的数据可用性与安全性研究[D];北京大学;2007年

10 李怀阳;进化存储系统数据组织模式研究[D];华中科技大学;2006年

中国硕士学位论文全文数据库 前10条

1 冯汉超;基于Hadoop的分布式副本策略研究[D];河北工程大学;2015年

2 张明;IaaS中基于热点数据的存储系统研究与实现[D];哈尔滨工业大学;2015年

3 蒋静远;基于数据通道的非结构化数据多存储系统[D];浙江大学;2015年

4 郭晖;面向高清视频监控的流存储系统设计与实现[D];电子科技大学;2015年

5 朱海涛;嵌入式网络存储系统的设计与应用[D];大连理工大学;2010年

6 王如军;模块化柔性存储系统[D];长春光学精密机械学院;2001年

7 赵靖;片段存储系统[D];上海交通大学;2007年

8 郅斌;一种私有云存储系统的设计与实现[D];北京邮电大学;2011年

9 祝青;混合存储系统研究[D];上海交通大学;2013年

10 张达;河北电视台高清新闻网存储系统分析[D];华北电力大学;2011年

  本文关键词：“云”时代企业危机传播机理及管理研究，，由笔耕文化传播整理发布。

本文编号：188564