基于云平台的高分数据存储模型及调度算法研究

发布时间：2017-09-07 07:16

  本文关键词：基于云平台的高分数据存储模型及调度算法研究

  更多相关文章： 云计算 高分遥感数据 分布式 虚拟化 蚁群算法

【摘要】：随着我国高分系列卫星升空,国家大力发展空间信息产业,拥有自主知识产权的海量高分辨率遥感影像数据及其衍生数据呈指数增长。如何对数据进行高效的存储和管理,来满足各行业用户的高并发数据需求、提供完善的数据共享服务,成为当前空间信息科学领域的重要研究方向。而云计算技术在处理高性能计算、海量数据存储、分布式应用以及提供高效共享服务等问题上具有一定优势,但是,传统的基于云平台的遥感数据存储模型对数据种类的支持不够全面,资源均衡分配方面的表现有待改善,数据请求任务的处理调度效率也需要进一步提升。因此本文设计了较合理的数据存储组织模型,并提出改进的云平台任务调度策略,通过在实际系统中的应用,体现了本文模型和调度算法的实用性和优势。本文对多源异构高分遥感数据进行特征分析和归类,基于面向对象、分布式环境虚拟化存储结构对数据进行模型构建,另外,将蚁群算法思想应用于遥感数据任务调度,在请求任务规模和调度策略上做相应改进,使得运行在现有模型上的数据任务调度方法具备自适应、响应快、效率高等特点。最后介绍了本文模型和调度算法在实际系统中的应用。本文具体的研究工作主要有以下三个方面:(1)提出了一种适用于云计算环境的高分数据存储组织模型。通过分析遥感数据的多源、多时空、海量的特性,结合云计算分布式虚拟化存储环境特点等方面构建存储模型,对模型的关键要素及建立方法详细阐述,并通过实验评估模型的可靠性。(2)根据遥感数据请求任务的特征,综合考虑系统平台的资源负载,基于节点QoS和改进的蚁群算法设计云平台任务调度算法,该算法能够有效提高系统平台任务处理效率,为用户提供更好的平台服务。(3)将本文提出的遥感数据存储模型及调度算法成功应用于国家某高分数据与应用系统云平台的建设之中。目前,系统已进入试运营阶段,效果良好,验证了本文研究成果的可行性。
【关键词】：云计算 高分遥感数据 分布式 虚拟化 蚁群算法
【学位授予单位】：河南大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP393.09;TP333
【目录】：

• 摘要4-5
• Abstract5-9
• 1 绪论9-15
• 1.1 研究目的及意义9-10
• 1.2 研究现状10-12
• 1.3 主要研究内容12
• 1.4 本文组织结构12-15
• 2 相关背景知识介绍15-27
• 2.1 云计算15-19
• 2.1.1 云计算定义及其特性15-16
• 2.1.2 云计算的服务形式16-17
• 2.1.3 云计算的调度算法17-19
• 2.2 海量高分遥感数据相关知识概述19-26
• 2.2.1 高分遥感数据19-21
• 2.2.2 海量遥感数据存储常见的几种解决方案21-23
• 2.2.3 遥感数据存储组织方法研究23-26
• 2.3 本章小结26-27
• 3 高分数据存储模型及调度策略研究27-43
• 3.1 基于面向对象的分布式遥感数据存储模型 (RSDO)27-34
• 3.1.1 遥感数据的抽象和转换27-28
• 3.1.2 遥感数据的存储28-29
• 3.1.3 数据动态分配策略29-32
• 3.1.4 RSDO模型的构建32-33
• 3.1.5 实验33-34
• 3.2 基于QOS的改进蚁群调度算法（Q-ACO）34-41
• 3.2.1 高分数据任务聚类35-36
• 3.2.2 基于蚁群算法的调度策略设计36-39
• 3.2.3 调度算法的自适应性39
• 3.2.4 实验39-41
• 3.3 本章小结41-43
• 4 基于云平台的高分数据与应用系统43-61
• 4.1 系统总体架构43-45
• 4.2 系统部署45-46
• 4.3 软件平台设计与实现46-60
• 4.3.1 数据资源库建设46-52
• 4.3.2 数据分发子系统关键模块实现52-60
• 4.4 本章小结60-61
• 5 总结与展望61-63
• 5.1 本文工作总结61-62
• 5.2 未来工作展望62-63
• 参考文献63-66
• 致谢66-67
• 攻读硕士学位期间发表论文及科研成果情况67-68

【相似文献】

中国期刊全文数据库 前10条

1 刘峰;纪钢;;改进的协同设计中间基多版本存储模型[J];计算机工程与设计;2011年06期

2 路明哲,陈锦莉,方志良,刘福来,母国光;利用神经网络优化关联存储模型[J];红外与毫米波学报;1993年01期

3 桑大勇,王瑛,刘西洋,蔡希尧;一种多侧面的重用部件存储模型[J];微电子学与计算机;1999年06期

4 胡明茂;阮景奎;程耕国;;基于确定性存储模型的工具管理系统开发[J];湖北汽车工业学院学报;2007年01期

5 于利胜;张延松;王珊;张倩;;基于行存储模型的模拟列存储策略研究[J];计算机研究与发展;2010年05期

6 夏戈明;黄遵国;;面向集群环境的高可用分布并行存储模型研究设计与实现[J];计算机应用研究;2006年07期

7 全少磊,葛成辉;虚拟地球智能数据获取与存储模型[J];电子科技导报;1999年05期

8 谭帅,倪德明,李磊;基于多代理的异构系统存储模型研究[J];中山大学学报(自然科学版);2004年S1期

9 施光源;张宇;;基于模糊逻辑的数据分级存储模型研究[J];计算机科学;2013年S2期

10 罗宇恒;谷岩;;数字化应急预案的存储模型与生成方法的研究[J];广州大学学报(自然科学版);2013年02期

中国重要会议论文全文数据库 前5条

1 于利胜;张延松;王珊;张倩;;基于行存储模型的模拟列存储策略研究[A];第26届中国数据库学术会议论文集（A辑）[C];2009年

2 薛倚明;陈振锋;;随机需求存储模型的一个修正[A];第六届中国青年运筹与管理学者大会论文集[C];2004年

3 高先锋;刘奇志;后小亮;檀宝权;;一种新的数据流页面存储模型[A];第二十五届中国数据库学术会议论文集（二）[C];2008年

4 何凤成;刘奎恩;许佳捷;徐怀野;丁治明;;Hestus:一种海量异构物联网数据存储模型及其实现[A];第29届中国数据库学术会议论文集（B辑）（NDBC2012）[C];2012年

5 黄敏;魏华;;记忆的多重存储模型与英语教学[A];首届农林院校教育管理类研究生学术论坛论文集[C];2009年

中国博士学位论文全文数据库 前2条

1 李晔锋;基于Hadoop的行列混合存储模型研究[D];东华大学;2015年

2 夏军宝;空间科学大数据存储模型SP-HDF及应用研究[D];中国地质大学（北京）;2013年

中国硕士学位论文全文数据库 前10条

1 陈玉林;基于云平台的高分数据存储模型及调度算法研究[D];河南大学;2016年

2 辛晓越;文档型数据库的存储模型设计和研究[D];中山大学;2015年

3 赵峰;基于闪存的B~+树文件存储模型的研究与改进[D];吉林大学;2011年

4 范泉龙;基于秘密共享的多云存储模型研究[D];华东理工大学;2014年

5 顾谊;基于云计算的海量教学资源存储模型的研究与实现[D];南昌大学;2015年

6 李帅;基于同态加密技术的云安全存储模型研究[D];中国矿业大学;2015年

7 张雷;商品存储优化问题的研究及系统实现[D];吉林大学;2010年

8 邹华;云计算的数据存储模型研究及应用[D];湖南大学;2013年

9 彭欣;基于P2P云存储模型的研究[D];南昌大学;2014年

10 李林;基于hadoop的海量图片存储模型的分析和设计[D];杭州电子科技大学;2011年

，

本文编号：808147