科技云平台的数据存储管理技术研究

发布时间：2017-10-19 01:31

  本文关键词：科技云平台的数据存储管理技术研究

  更多相关文章： 云存储 HDFS 异构集群 分级存储 存储调度

【摘要】：近些年来国家在不断地推广云计算产业,使其与具体行业相结合。因此,作为云计算中著名开源架构之一的Hadoop也受到了独特的青睐,许多企业都是在此技术之上发展的。国家科技管理系统同样也将云计算技术作为基础,用于保障存储数据的高可用性,以及方便对后续空间或计算性能弹性扩展的需求。我们承担了科技数据相似性检测系统的设计与开发工作,它利用Hadoop平台中的MapReduce实现了对项目申报书全文比对的并行计算。其中,所有比对的样本文件数据都存储在Hadoop的分布式文件系统HDFS上。考虑到要充分利旧,我们搭建的Hadoop集群由旧有设备和新购置设备组成,这些节点在存储性能、计算性能、IO性能等方面存在较大差异。在系统的实际运行中发现数据块分布的不均会降低MapReduce的运行速度,从而影响Hadoop集群响应的速度。由于HDFS默认采用的机架感知存储策略,存储节点选择时不考虑节点的性能差异,所以可能导致访问频率高的数据存储在低性能节点上,而访问频率低的数据存储在高性能节点上,既影响集群响应时间,又降低了资源利用率。针对以上问题,本文提出了一种分级存储调度机制。在HDFS机架感知调度策略基础上,首先根据节点的CPU、内存大小、磁盘大小、磁盘I/O等固有硬件性能将节点划分为高配置节点和低配置节点,其次根据节点的CPU使用率、内存使用率、网络带宽使用率、磁盘使用率等性能的动态因素建立节点的性能评价模型,并建立三个性能级别。根据节点配置情况、性能级别及网络位置等多方面因素进行综合调度。同时在集群运行过程中,会根据数据的访问频率对数据块的分布进行动态调整。通过将访问频率高的数据存储在高性能节点上的方法,提升副本的访问速度,同时把其中的低访问频率数据移出,节省高性能节点的空间。将这种改进的分级存储调度机制应用到科技数据相似性检测系统中,使全文相似比对计算的时间提升了6%。
【关键词】：云存储 HDFS 异构集群 分级存储 存储调度
【学位授予单位】：北方工业大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP311.52
【目录】：

• 摘要3-4
• ABSTRACT4-8
• 第一章 绪论8-12
• 1.1 研究背景和意义8-9
• 1.2 国内外研究现状9-10
• 1.3 研究内容10-11
• 1.4 章节组织结构11-12
• 第二章 相关技术12-19
• 2.1 云计算概念12-13
• 2.2 云存储概念13-14
• 2.3 分布式计算14-15
• 2.4 HADOOP平台简介15-18
• 2.4.1 Hadoop基础概述15
• 2.4.2 HDFS分布式文件系统15-16
• 2.4.3 MapReduce分布式计算框架16-18
• 2.5 本章小结18-19
• 第三章 分级存储调度机制19-26
• 3.1 概述19-20
• 3.2 相关定义20-22
• 3.2.1 节点性能评价模型20-21
• 3.2.2 节点网络距离21
• 3.2.3 热(冷)阈值21-22
• 3.3 初始调度方案22-23
• 3.4 动态调度方案23-25
• 3.5 本章小结25-26
• 第四章 分级存储调度机制的实现与实验26-36
• 4.1 方案实现26-30
• 4.1.1 初始调度方案实现26-28
• 4.1.2 动态调度方案实现28-30
• 4.2 测试实验环境30-32
• 4.3 实验内容与结果分析32-35
• 4.3.1 初始调度测试32-34
• 4.3.2 动态调整测试34-35
• 4.4 监控平台35
• 4.5 本章小结35-36
• 第五章 分级存储调度机制的应用36-45
• 5.1 科技数据相似性检测系统背景36-37
• 5.2 分级存储调度机制与科技数据相似性检测系统的关系37-38
• 5.3 科技数据相似性检测系统设计与实现38-43
• 5.3.1 文件比对模块38-40
• 5.3.2 相似度计算模块40-41
• 5.3.3 报告生成模块41-42
• 5.3.4 历史记录模块42-43
• 5.4 应用效果分析43-44
• 5.5 本章小结44-45
• 第六章 结论与展望45-46
• 6.1 主要结论45
• 6.2 研究展望45-46
• 参考文献46-49
• 在学期间的研究成果49-50
• 致谢50

【相似文献】

中国期刊全文数据库 前10条

1 郑士贵;数据存储的全面管理[J];管理科学文摘;1997年09期

2 相晓明;网上存储:X:Drive[J];互联网周刊;2000年30期

3 王宇葳;谁来吞吐你的数据[J];互联网周刊;2000年30期

4 袁胜,冯毅,伍显峰,涂春明,盛云川;移动计费营业系统中数据存储的考虑[J];电信技术;2001年01期

5 杨向东;数据存储——深化金融电子化的奠基之石[J];华南金融电脑;2002年03期

6 李子臣,王振光,王文静;外包数据存储——经济、安全、高效[J];现代情报;2002年11期

7 杨向东;数据存储——金融电子化的基石[J];中国金融电脑;2002年03期

8 黄重讯;企业的数据存储[J];乡镇企业研究;2003年06期

9 李婕;;医院信息化促进数据存储中心的建立[J];医学信息;2006年09期

10 夏欢;熊前兴;冯樱;;数据存储的探讨[J];科技信息;2006年S4期

中国重要会议论文全文数据库 前10条

1 孙峥皓;汪宏f;阎岩;岑小锋;邓志均;;浅谈信息化战争对大数据存储与分析的要求及对策[A];2013第一届中国指挥控制大会论文集[C];2013年

2 张沁川;王厚军;;基于大容量闪存的数据存储与管理[A];2008中国仪器仪表与测控技术进展大会论文集（Ⅲ）[C];2008年

3 霍跃华;;IP SAN在煤炭企业数据存储的应用研究[A];煤矿自动化与信息化——第20届全国煤矿自动化与信息化学术会议暨第2届中国煤矿信息化与自动化高层论坛论文集[C];2010年

4 盛磊;李美华;程林;;一种轧钢过程数据存储方法[A];全国冶金自动化信息网2014年会论文集[C];2014年

5 王文峰;李佳;;刍议信息系统数据存储与备份系统的构建方式[A];2011年云南电力技术论坛论文集（入选部分）[C];2011年

6 张艳秋;李建中;杨艳;张兆功;;混合负载多媒体服务器的数据存储和数据提交[A];第二十届全国数据库学术会议论文集（研究报告篇）[C];2003年

7 王淑江;;烟台日报传媒集团存储体系规划[A];中国新闻技术工作者联合会五届一次理事会暨学术年会论文集（上篇）[C];2009年

8 ;Wallstor网络数据存储的新技术应用[A];江苏省微型电脑应用协会产学研成果交流会会议资料[C];2010年

9 韦大伟;;分布式数据存储中的机密性保护[A];2006年全国开放式分布与并行计算机学术会议论文集（三）[C];2006年

10 韩德志;;内网数据存储安全关键技术的研究与实现[A];2010年第16届全国信息存储技术大会（IST2010）论文集[C];2010年

中国重要报纸全文数据库 前10条

1 中国惠普公司网络存储事业部技术顾问 周志峰;数据存储面临七大挑战[N];计算机世界;2001年

2 本报记者 郭涛;中兴通讯打造安全高效的大数据存储[N];中国计算机报;2013年

3 本报记者 陈巍巍;数据存储 进化正当时[N];计算机世界;2013年

4 本报记者 黄锐;绿源巢:大数据存储弄潮儿[N];东莞日报;2014年

5 毛玲玲 吴非;数据存储 安全为重[N];解放军报;2014年

6 本报记者 郭涛;华为存储：高端存储、大数据存储齐头并进[N];中国计算机报;2013年

7 本报记者 方慧玲;纠删码技术：大数据存储的“安全卫士”[N];江苏科技报;2014年

8 ;培养皿中的数据存储[N];网络世界;2007年

9 ;2010年中小企业数据存储市场六大趋势[N];网络世界;2010年

10 本报实习记者 陈勋燕;数据存储网络凸现商机 上海邮通转型前景看好[N];通信信息报;2002年

中国博士学位论文全文数据库 前3条

1 付松龄;分布式在线社交网络数据存储及优化技术研究[D];国防科学技术大学;2014年

2 张杰;一种高速数据存储方法的研究[D];中国科学技术大学;2013年

3 付永忠;基于AFM和硫系相变材料的超高密度数据存储机理研究[D];江苏大学;2010年

中国硕士学位论文全文数据库 前10条

1 葛佳;P2P网络信誉数据存储与恢复方法的研究与实现[D];昆明理工大学;2015年

2 潘阳;基于Hadoop技术在分布式数据存储中的应用研究[D];大连海事大学;2015年

3 秦峥惠;基于Leveldb的企业级大数据集群化存储设计与实现[D];辽宁科技大学;2015年

4 吉瑛;基于MongoDB的团队协作数据存储方案研究与实现[D];中国科学院大学(工程管理与信息技术学院);2015年

5 姜威灵;CT仿真数据存储与高速传输装置设计[D];东北大学;2014年

6 方颀;基于行数据存储的CBCT图像重建FPGA电路的优化与设计[D];哈尔滨工业大学;2015年

7 张路路;基于MongoDB的大数据存储方法研究与应用[D];成都理工大学;2015年

8 张磊;基于Hadoop分布式数据存储传感设备平台的描述[D];南京邮电大学;2015年

9 贾新宇;基于云计算的GIS栅格数据存储与算法研究[D];吉林大学;2015年

10 李青;科技云平台的数据存储管理技术研究[D];北方工业大学;2016年

，

本文编号：1058296