基于嵌入式环境的分布式存储系统的设计与实现

发布时间：2017-05-14 20:10

  本文关键词：基于嵌入式环境的分布式存储系统的设计与实现，由笔耕文化传播整理发布。

【摘要】：如今由于信息技术的爆炸式发展,数据规模变得越来越大。尤其在一些科学研究及生产环境中,数据的采集量也变得越来越大。在这类数据采集应用中,数据采集工作一般由嵌入式设备进行。传统的数据采集应用的存储方式是将分布在不同地点或区域的设备采集到的数据先存放在本地存储设备上再统一上传到中心服务器。由中心服务器进行归档数据归档同时为用户提供数据服务。而这样的做法会产生中心服务器负载过重网络负载过重等问题。本文的目的就是设计和实现出一款方便数据采集应用进行数据存储的基于嵌入式环境的分布式存储系统。 本文在对传统的网络存储,以及典型的分布式文件系统的存储控制方法,存储角色归类方法,存储原则进行分析和充分研究后,结合数据采集应用的特性,对数据采集应用的各个角色进行分类。以FastDFS分布式文件系统为基础设计了组、小组和、存储服务器的三级存储模式,增强了存储系统的拓展能力。 本文还对嵌入式环境进行分析,并且针对嵌入式系统的特点。利用硬件提供的数据安全引擎,为存储数据的完整性提供硬件加速。使用多网卡的设计使得数据同步和数据使用的带宽分离,改善网络性能。从而使分布式存储系统的整体性能得到一定改善。 最后本文对设计实现的分布式存储系统进行了基本的实验验证。通过多主机机多虚拟机加嵌入式设备的硬件连接方式部署软件,对设计的存储系统进行功能性的验证。实验证明,设计的基于嵌入式环境的分布式存储系统能够满足数据采集应用的各种功能,同时对硬件加速的使用使得数据传输性能得到了提高。
【关键词】：分布式 数据采集 嵌入式 存储 硬件加速
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333
【目录】：

• 摘要4-5
• ABSTRACT5-7
• 目录7-11
• 第一章 绪论11-14
• 1.1 研究背景11
• 1.2 研究现状11-12
• 1.3 研究的内容12-13
• 1.4 论文结构13-14
• 第二章 常见的存储系统的设计14-20
• 2.1 传统的网络存储技术14-16
• 2.1.1 直接连接存储14-15
• 2.1.2 网络连接存储15-16
• 2.1.3 存储区域网络16
• 2.2 典型的分布式存储系统16-20
• 2.2.1. Google File System17-18
• 2.2.3 Hadoop Distributed File System18-19
• 2.2.4 Lustre分布式文件系统19-20
• 第三章 需求分析及设计关键问题分析20-26
• 3.1 需求分析20-21
• 3.1.1 通用需求分析20
• 3.1.2 应用实例需求分析20-21
• 3.2 设计关键问题分析21-26
• 3.2.1 设计原则分析21-22
• 3.2.2 网络连接模型分析22-24
• 3.2.3 嵌入式环境分析24-26
• 第四章 分布式存储软件相关的设计与实现26-55
• 4.1 总体结构的设计26-29
• 4.1.1 整体拓扑架构26-28
• 4.1.2 分布式存储系统中的角色28-29
• 4.1.3 分布式存储系统总体结构相关的数据结构29
• 4.2 跟踪端服务器的整体软件实现29-37
• 4.2.1 跟踪服务器的配置30-31
• 4.2.2 跟踪服务器的日志处理31-32
• 4.2.3 跟踪服务器的状态读取32-33
• 4.2.4 跟踪服务器的数据结构33-34
• 4.2.5 跟踪服务器的端口设置34
• 4.2.6 跟踪服务器的工作线程34-36
• 4.2.7 跟踪服务器的信号量处理36
• 4.2.8 跟踪服务器的定时任务36-37
• 4.2.9 跟踪服务器的接收连接37
• 4.2.10 跟踪服务器的下线处理37
• 4.3 存储节点的整体软件实现37-43
• 4.3.1 存储服务器的配置38-39
• 4.3.2 存储服务器的预处理任务39-40
• 4.3.3 存储服务器的日志处理40
• 4.3.4 存储服务器的端口设置40
• 4.3.5 存储服务器的网络工作线程40-41
• 4.3.6 存储服务器的信号量处理41
• 4.3.7 存储服务器的报告线程41-42
• 4.3.8 存储服务器的定时任务42
• 4.3.9 存储服务器的磁盘处理线程42-43
• 4.3.10 存储服务器的接受连接43
• 4.3.11 存储服务器的下线处理43
• 4.4 用户节点的软件实现43-44
• 4.4.1 注册用户节点的软件设计43-44
• 4.4.2 普通用户节点的软件接口44
• 4.5 传输协议与文件的上传和下载44-52
• 4.5.1 协议的格式45
• 4.5.2 用户与跟踪服务器之间的消息格式45-47
• 4.5.3 用户与存储节点之间的消息格式47-48
• 4.5.4 存储节点与存储节点之间的消息格式48
• 4.5.5 存储节点与跟踪服务器之间的数据同步48-49
• 4.5.6 文件的上传49-50
• 4.5.7 文件的下载50-52
• 4.6 分布式数据存储的相关处理52-55
• 4.6.1 文件的同步机制52
• 4.6.2 数据一致性52-53
• 4.6.3 数据的分布53
• 4.6.4 负载均衡53
• 4.6.5 系统可拓展性53
• 4.6.6 数据容错53-54
• 4.6.7 服务器的迁移54-55
• 第五章 嵌入式硬件环境的实现与系统测试55-69
• 5.1 开发平台选择55-56
• 5.2 嵌入式环境搭建56-57
• 5.2.1 安装SDK及配置宿主机环境56
• 5.2.2 U-boot的编译56-57
• 5.2.3 linux内核及文件系统的编译57
• 5.3 多网卡的设计57-58
• 5.4 硬件的数据加密引擎使用58-60
• 5.4.1 内核相关驱动的安装59-60
• 5.4.2 用户空间使用内核驱动60
• 5.4.3 用户程序调用60
• 5.5 多核的使用60-61
• 5.5.1 多核编程方法61
• 5.5.2 多核编程的在分布式存储系统中使用的对象61
• 5.6 存储节点与采集节点设计61-63
• 5.6.1 连接方式61-62
• 5.6.2 启动62-63
• 5.7 系统测试与验证63-69
• 5.7.1 测试环境63-64
• 5.7.2 测试实例64-67
• 5.7.3 测试结果67-69
• 第六章 总结与展望69-71
• 6.1 主要工作总结69
• 6.2 未来研究工作69-71
• 参考文献71-73
• 致谢73-74
• 作者攻读学位期间发表的学术论文74

【参考文献】

中国期刊全文数据库 前2条

1 马艳军;吕爽;刘一谦;;集群文件系统lustre的介绍及应用[J];科技信息;2012年05期

2 徐敏;;基于硬件加密卡技术的RSA加密引擎的局部封装[J];微型机与应用;2011年20期

  本文关键词：基于嵌入式环境的分布式存储系统的设计与实现，由笔耕文化传播整理发布。

，

本文编号：366121