基于HDFS的云存储平台在企业信息管理系统中的应用研究

发布时间：2017-08-27 04:44

  本文关键词：基于HDFS的云存储平台在企业信息管理系统中的应用研究

  更多相关文章： 小文件 二级索引机制 HDFS 云存储

【摘要】：伴随着现代科技的发展,各种信息呈现出爆炸是级数增长的方式。普通的存储体系的结构与方式已不再适应现代煤炭企业的爆炸式增长数据存储的需求,基于云计算的云存储系统便应运而生。HDFS(Hadoop Distributed FileSystem)作为Hadoop技术框架的一部分,被称为是分布式文件存储系统。目前,国内外很多大型企业都利用HDFS来进行海量数据的存储与管理,HDFS体系结构构造之初是为了系统存储占用空间较大的文件而进行开发的,但随着HDFS分布式文件应用范围越来越广,在某些应用环境中,存在大量的小文件,会导致分布式文件系统便出现存储瓶颈,如何高效处理这样类型的文件成为一个亟待解决的问题。本文针对HDFS存储小文件的问题展开了研究,对HDFS存储前的小文件处理工作和存储后的检索分别提出了改进方法,并将其应用于煤炭企业的云存储平台。首先,在原有HDFS存储结构上添加小文件处理单元,目的在于对小文件进行判断和合并处理,小文件的索引和内容以追加写的方式存入合并文件,解决了大量小文件零散存储带来的浪费空间问题。其次,在改进后的存储结构上,提出二级索引机制,将合并索引与合并文件同时存储在数字节点上,仅用名字节点上的一条元数据记录合并文件中的小文件的文件名信息,用逐级索引解析的方式进行小文件的查找定位,节约了名字节点内存,提高了访问效率。最后,开发了以基于HDFS的云存储平台,并以煤炭企业生产与统计系统为例,详细阐述了HDFS云存储平台在企业信息管理系统中的应用。本系统采用Hadoop 0.20.1作为开发环境,1台名字节点和3台数字节点作为模拟平台进行改进后的小文件存储系统的性能测试试验,分别从内存消耗、小文件读取时间、小文件写入时间方面进行测试,取得了较好的效果。
【关键词】：小文件 二级索引机制 HDFS 云存储
【学位授予单位】：西安科技大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333
【目录】：

• 摘要3-4
• abstract4-8
• 1 绪论8-13
• 1.1 研究背景及意义8
• 1.2 研究现状8-11
• 1.2.1 云存储8-9
• 1.2.2 HDFS小文件存储的研究现状9-11
• 1.3 研究内容及论文组织安排11-13
• 2 云存储关键技术13-20
• 2.1 云存储关键技术13-19
• 2.1.1 HDFS系统结构13-14
• 2.1.2 HDFS主要功能组件14-15
• 2.1.3 HDFS的读写机制15-17
• 2.1.4 元数据结构17-18
• 2.1.5 通信协议18-19
• 2.2 本章小结19-20
• 3 基于HDFS的小文件存储优化方案20-36
• 3.1 HDFS小文件的存储问题20-23
• 3.1.1 消耗NameNode内存20-22
• 3.1.2 削弱访问的效果22-23
• 3.2 HDFS经典方案分析23-24
• 3.2.1 HAR方案23-24
• 3.2.2 Sequence File方案24
• 3.3 改进方案24-33
• 3.3.1 存储体系结构改进25-26
• 3.3.2 二级索引机制26-27
• 3.3.3 改进方案的实现27-33
• 3.4 实验结果及分析33-35
• 3.5 本章小结35-36
• 4 基于HDFS云存储平台的煤炭企业信息管理系统设计36-54
• 4.1 煤炭企业计划与统计管理系统36-45
• 4.1.1 系统设计36-41
• 4.1.2 数据库设计41-43
• 4.1.3 系统实现43-45
• 4.2 云存储平台设计45-53
• 4.2.1 方案设计45-47
• 4.2.2 环境搭建47-49
• 4.2.3 系统实现49-53
• 4.3 本章小结53-54
• 5 总结与展望54-56
• 5.1 论文总结54
• 5.2 论文展望54-56
• 致谢56-57
• 参考文献57-59
• 附录59

【相似文献】

中国期刊全文数据库 前10条

1 王岩;;网络信息存储平台的开发与应用[J];网络安全技术与应用;2013年10期

2 筱月;缔造智能型网络存储平台[J];中国计算机用户;2003年28期

3 潘永东;;高校云存储平台建设的研究和规划[J];电子技术与软件工程;2013年23期

4 刘华日;陈志民;刘小波;叶志蝉;谷丰;;实验中心信息存储平台的改进与应用[J];实验室科学;2013年05期

5 ;富士通推出全新存储平台[J];互联网周刊;2006年22期

6 方延风;;提高福建省台湾文献信息中心存储平台性能的思考[J];情报探索;2010年11期

7 ;存储平台三维扩展时代到来[J];中国金融电脑;2011年05期

8 ;存储平台三维扩展时代[J];微电脑世界;2011年08期

9 ;基于HP StorageWorks的绿色存储平台[J];计算机与网络;2008年15期

10 马天蔚;;150万谁支撑——惠普为上海热线计费系统搭建存储平台[J];每周电脑报;2001年61期

中国重要会议论文全文数据库 前5条

1 蔡灵灵;张艳萍;;新华社统一存储平台的设计与实践[A];中国新闻技术工作者联合会五届一次理事会暨学术年会论文集（上篇）[C];2009年

2 王猛;蔡灵灵;;异构存储平台统一监控的设计与实现[A];中国新闻技术工作者联合会五届一次理事会暨学术年会论文集（上篇）[C];2009年

3 郭嘉;;以云存储平台助力电力企业信息化[A];电力行业信息化优秀论文集2013[C];2013年

4 陈志文;;数据集中安全存储平台研制[A];中国工程物理研究院科技年报(2012年版)[C];2012年

5 丁嵩;田敬;陈东;吴刚;代亚非;;UPStore:一个开放的P2P存储平台[A];第15届全国信息存储技术学术会议论文集[C];2008年

中国重要报纸全文数据库 前10条

1 綦悠悠;黑龙江联通打造网络存储平台[N];人民邮电;2007年

2 江苏省电力公司电力科学研究院 赵新冬 王勤 戴威;电力行业存储平台集中管理设计[N];中国信息化周报;2014年

3 闻风;浪潮搭建高品质存储平台[N];政府采购信息报;2005年

4 ;富士通展示最新存储平台[N];人民邮电;2007年

5 日立数据系统公司(HDS)副总裁兼首席技术官 Hubert Yoshida;大数据存储平台必须具有弹性[N];中国计算机报;2012年

6 本报记者 张广彬;存储平台 通用为王[N];计算机世界;2004年

7 本报记者 霍皓迪;建设永续运行的存储平台[N];通信产业报;2002年

8 蔡彭年;浪潮成功构建电子缴税入库存储平台[N];中国税务报;2007年

9 李佳师;微软试水存储平台[N];中国电子报;2003年

10 电脑商报记者 刘一冰;“兼”济天下 有“容”乃大[N];电脑商报;2010年

中国硕士学位论文全文数据库 前10条

1 王雅山;云存储平台中加密数据的多关键字排序搜索技术研究[D];哈尔滨工业大学;2015年

2 张宇翔;指纹支付系统中海量指纹数据云存储平台的优化设计与实现[D];浙江师范大学;2015年

3 牛茜;基于HDFS的云存储平台在企业信息管理系统中的应用研究[D];西安科技大学;2015年

4 金晨;警务信息化系统中云存储平台的设计和实现[D];电子科技大学;2013年

5 郝伟;湖南移动网管集中云存储平台搭建与测试[D];中南大学;2010年

6 何颖鹏;非结构化数据统一存储平台的设计与实现[D];浙江大学;2013年

7 田原;云存储中存储平台与数据安全关键技术研究与实现[D];北京邮电大学;2015年

8 刘亮成;小型云存储平台管理系统的设计与实现[D];电子科技大学;2013年

9 王磊;一种高性能HDFS存储平台的研究与实现[D];西安电子科技大学;2013年

10 汪锐;基于Hadoop的公安系统信息存储平台[D];上海交通大学;2012年

，

本文编号：744463