面向图像的分布式并行处理系统
发布时间：2024-01-03 13:38
随着卫星成像技术的日渐成熟,采用人工智能技术对卫星遥感图像进行识别成为了研究热点。然而,卫星遥感图像具有成像分辨率高、幅面尺寸大、实时性要求高等特点。因此会存在卫星图像成像速度和识别速度慢等问题,当图像识别速度远小于图像成像速度时会导致图像数据的丢失。反之,则导致卫星资源的浪费。因此,如何在保证卫星图像成像质量并提高识别速度的同时,提高卫星资源利用率成为是本文需要研究的课题。本文设计了一个面向图像的分布式并行处理系统,并详细阐述了该系统涉及到的理论基础、设计方案、实现过程和测试分析。本文完成的主要工作如下:1)异构平台下的卫星图像融合:在异构平台下分别通过CPU和GPU进行卫星图像融合。将相同的图像融合方法分别通过串行编程和并行编程进行实现,并行编程利用CUDA对图像融合方法进行并行化设计。比较两种图像融合方式在不同数据规模下的时间开销,选择更适合的卫星图像融合加速方式。2)自适应加权阈值调度算法:设计并实现了自适应加权阈值调度算法,对图像数据处理内存和图像数据传输内存进行了调节。该算法分为初始化、恒定、高负载、低负载四种状态。任务开启后,模块先进入初始化状态。当图像传输速度大于图像处...
【文章页数】：98 页
【学位级别】：硕士
【文章目录】：
摘要
abstract
第一章 绪论
1.1 本文研究工作背景与意义
1.2 国内外研究现状
1.3 本文的主要贡献与创新点
1.4 本文的组织结构
第二章 理论基础与相关技术
2.1 图像融合
2.2 GPU编程
2.3 通用调度算法
2.4 LSM-TREE存储结构
2.5 数据分布策略
2.5.1 轮询策略
2.5.2 一致性哈希策略
2.5.3 带负载上限的一致性哈希策略
2.5.4 带虚拟节点的一致性哈希策略
2.6 REDIS内存回收策略
2.7 本章小结
第三章 面向图像的分布式并行处理系统的设计
3.1 应用场景与需求分析
3.2 系统构成
3.3 系统层次架构
3.4 系统物理部署
3.5 异构平台下的卫星图像融合模块的设计
3.5.1 异构平台的图像融合方式
3.5.2 异构平台图像融合处理流程
3.5.3 GPU的优化处理
3.6 自适应加权阈值调度算法的设计
3.6.1 算法模型
3.6.2 状态切换
3.6.3 算法伪代码
3.7 高并发低冗余存储模块的设计
3.7.1 整体架构
3.7.2 存储模块中各节点的功能
3.7.2.1 Client节点
3.7.2.2 WorkNode节点
3.7.3 关键技术
3.7.3.1 数据存储策略
3.7.3.2 关键字压缩存储
3.7.3.3 数据组织形式
3.7.3.4 Manifest索引结构设计
3.7.3.5 垃圾回收策略
3.7.3.6 数据操作流程
3.7.4 分布式设计
3.7.4.1 数据分布策略
3.7.4.2 负载均衡策略
3.8 本章小结
第四章 面向图像的分布式并行处理系统的实现
4.1 异构平台下的卫星图像融合模块的实现
4.1.1 BMP图像的存取
4.1.2 利用CPU进行图像融合
4.1.3 利用GPU进行图像融合
4.2 自适应加权阈值调度算法的实现
4.2.1 加载组件的实现
4.2.2 数据传输进程实现
4.2.3 数据处理进程实现
4.2.4 模块执行流程
4.3 高并发低冗余存储模块的实现
4.3.1 通信交互组件的实现
4.3.1.1 通信报文设计
4.3.1.2 报文头部类型定义
4.3.1.3 通信协议编解码器的实现
4.3.2 网络通信框架的实现
4.3.3 定时器的实现
4.3.4 时间类的实现
4.3.5 工作节点的实现
4.3.5.1 中间层
4.3.5.2 存储层
4.3.5.3 业务层
4.3.6 Client的具体实现
4.3.6.1 数据存储节点的计算
4.3.6.2 元数据管理
4.3.7 模块关键流程
4.3.7.1 模块初始化流程
4.3.7.2 数据写入流程
4.3.7.3 数据查询流程
4.3.7.4 数据删除流程
4.4 本章小结
第五章 系统测试与结果分析
5.1 异构平台下的卫星图像融合模块测试
5.1.1 测试环境
5.1.2 CPU与 GPU图像融合效果对比测试
5.1.3 CPU与 GPU图像融合速度对比测试
5.2 自适应加权阈值调度算法模块测试
5.2.1 测试环境
5.2.2 功能测试
5.2.2.1 模块初始化加载测试
5.2.2.2 模块运行时测试
5.2.2.3 队列切换测试
5.3 高并发低冗余存储模块测试
5.3.1 测试环境
5.3.2 功能测试
5.3.2.1 存储位置计算测试
5.3.2.2 数据存储测试
5.3.2.3 单条数据查询测试
5.3.2.4 数据范围查询测试
5.3.2.5 数据删除测试
5.3.3 性能测试
5.3.3.1 写入性能测试
5.3.3.2 读取性能测试
5.4 本章小节
第六章 总结与展望
6.1 全文总结
6.2 展望未来
致谢
参考文献
攻读硕士期间取得的研究成果
本文编号：3876476
【文章页数】：98 页
【学位级别】：硕士
【文章目录】：
摘要
abstract
第一章 绪论
1.1 本文研究工作背景与意义
1.2 国内外研究现状
1.3 本文的主要贡献与创新点
1.4 本文的组织结构
第二章 理论基础与相关技术
2.1 图像融合
2.2 GPU编程
2.3 通用调度算法
2.4 LSM-TREE存储结构
2.5 数据分布策略
2.5.1 轮询策略
2.5.2 一致性哈希策略
2.5.3 带负载上限的一致性哈希策略
2.5.4 带虚拟节点的一致性哈希策略
2.6 REDIS内存回收策略
2.7 本章小结
第三章 面向图像的分布式并行处理系统的设计
3.1 应用场景与需求分析
3.2 系统构成
3.3 系统层次架构
3.4 系统物理部署
3.5 异构平台下的卫星图像融合模块的设计
3.5.1 异构平台的图像融合方式
3.5.2 异构平台图像融合处理流程
3.5.3 GPU的优化处理
3.6 自适应加权阈值调度算法的设计
3.6.1 算法模型
3.6.2 状态切换
3.6.3 算法伪代码
3.7 高并发低冗余存储模块的设计
3.7.1 整体架构
3.7.2 存储模块中各节点的功能
3.7.2.1 Client节点
3.7.2.2 WorkNode节点
3.7.3 关键技术
3.7.3.1 数据存储策略
3.7.3.2 关键字压缩存储
3.7.3.3 数据组织形式
3.7.3.4 Manifest索引结构设计
3.7.3.5 垃圾回收策略
3.7.3.6 数据操作流程
3.7.4 分布式设计
3.7.4.1 数据分布策略
3.7.4.2 负载均衡策略
3.8 本章小结
第四章 面向图像的分布式并行处理系统的实现
4.1 异构平台下的卫星图像融合模块的实现
4.1.1 BMP图像的存取
4.1.2 利用CPU进行图像融合
4.1.3 利用GPU进行图像融合
4.2 自适应加权阈值调度算法的实现
4.2.1 加载组件的实现
4.2.2 数据传输进程实现
4.2.3 数据处理进程实现
4.2.4 模块执行流程
4.3 高并发低冗余存储模块的实现
4.3.1 通信交互组件的实现
4.3.1.1 通信报文设计
4.3.1.2 报文头部类型定义
4.3.1.3 通信协议编解码器的实现
4.3.2 网络通信框架的实现
4.3.3 定时器的实现
4.3.4 时间类的实现
4.3.5 工作节点的实现
4.3.5.1 中间层
4.3.5.2 存储层
4.3.5.3 业务层
4.3.6 Client的具体实现
4.3.6.1 数据存储节点的计算
4.3.6.2 元数据管理
4.3.7 模块关键流程
4.3.7.1 模块初始化流程
4.3.7.2 数据写入流程
4.3.7.3 数据查询流程
4.3.7.4 数据删除流程
4.4 本章小结
第五章 系统测试与结果分析
5.1 异构平台下的卫星图像融合模块测试
5.1.1 测试环境
5.1.2 CPU与 GPU图像融合效果对比测试
5.1.3 CPU与 GPU图像融合速度对比测试
5.2 自适应加权阈值调度算法模块测试
5.2.1 测试环境
5.2.2 功能测试
5.2.2.1 模块初始化加载测试
5.2.2.2 模块运行时测试
5.2.2.3 队列切换测试
5.3 高并发低冗余存储模块测试
5.3.1 测试环境
5.3.2 功能测试
5.3.2.1 存储位置计算测试
5.3.2.2 数据存储测试
5.3.2.3 单条数据查询测试
5.3.2.4 数据范围查询测试
5.3.2.5 数据删除测试
5.3.3 性能测试
5.3.3.1 写入性能测试
5.3.3.2 读取性能测试
5.4 本章小节
第六章 总结与展望
6.1 全文总结
6.2 展望未来
致谢
参考文献
攻读硕士期间取得的研究成果
本文编号：3876476
本文链接：https://www.wllwen.com/guanlilunwen/gongchengguanli/3876476.html
