基于iSCSI的自动扩容云存储系统的研究与实现

发布时间：2017-08-12 22:21

  本文关键词：基于iSCSI的自动扩容云存储系统的研究与实现

  更多相关文章： 云存储 可写入时间数 并发服务 自动扩容

【摘要】：云存储是云计算领域一个热门的发展方向,随着互联网的发展,互联网上的数据量也是越来越大,云存储越来越接近广大网民的生活,与我们的生活工作息息相关,我们时常把身边重要的数据放在云网盘上防止意外丢失。现在大多数的云网盘提供了基础的云存储服务,用户注册使用后即可获得一定的固定的存储空间,但是随着用户数据量的增大,原有的存储空间已不能再满足用户的需要,所以本课题在研究了目前行业内的几种主流云存储机制之后,欲提出一套新的基于iSCSI的自动化扩容云存储系统,从客户端到服务器都提供了一种动态的扩容策略。本文研究了设计私有云存储系统的一些关键技术原理,如iSCSI、虚拟逻辑卷、Samba、Quota等,在这些开源技术之上搭建了一套便于实施的自动扩容私有云存储系统,在服务器节点之间的通信中,分析了常用的并发模型,充分利用了Epoll加多线程池并发模型,并与传统的多进程方式进行对比。本系统采用远程挂载的方式将远程存储挂载到本地空间,摒弃了空间上距离的概念。本系统采用了三层架构的设计方案,底层是基础设施层,提供存储服务,管理节点位于此层中,为上层数据节点层提供统一的存储服务;在上层是数据节点层,数据节点层为上层用户提供数据访问服务,数据节点层在系统中占据重要的地位,其中Samba文件共享服务、Quota用户空间配额、Lvm虚拟逻辑卷位于此层中,当数据节点容量使用率达到一定的额度时,数据节点和管理节点通信,挂载管理节点提供的存储空间与本地的存储进行合并,实现在线扩容的目的。为了充分利用系统的资源利用率,提出了动态监控扫描的扩容算法,根据用户的可写入时间数动态确定下次扫面时间,此外本文将服务端采用了基于Epoll和线程池的并发模式,最后文章对本系统进行了功能和性能测试,证明系统的可行性。
【关键词】：云存储 可写入时间数 并发服务 自动扩容
【学位授予单位】：电子科技大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333
【目录】：

• 摘要5-6
• ABSTRACT6-11
• 第一章 绪论11-16
• 1.1 研究工作的背景与意义11-12
• 1.2 云存储扩容技术的国内外研究历史与现状12-13
• 1.3 课题研究内容13-14
• 1.4 本论文的结构安排14-16
• 第二章 相关理论基础16-26
• 2.1 iSCSI存储技术16-18
• 2.1.1 iSCSI基本介绍16-17
• 2.1.2 iSCSI的工作过程17
• 2.1.3 数据流量的优化17-18
• 2.2 Lvm虚拟逻辑卷18-19
• 2.2.1 Lvm概述18
• 2.2.2 与Lvm相关的几个概念18-19
• 2.3 Samba共享文件系统19-20
• 2.3.1 Samba基本介绍19-20
• 2.3.2 Samba的应用场景20
• 2.4 Quota配额20-21
• 2.4.1 Quota使用场景21
• 2.5 基于Epoll和线程池的并发服务21-24
• 2.5.1 Epoll模型简介21
• 2.5.2 Epoll模型的工作模式21-22
• 2.5.3 Epoll模型的使用方法22-23
• 2.5.4 线程池技术介绍23-24
• 2.5.5 线程池的组成部分24
• 2.6 本章总结24-26
• 第三章 AES系统的分析与设计26-47
• 3.1 AES存储系统的需求分析26-29
• 3.1.1 Saes需求分析26-27
• 3.1.2 Uaes需求分析27-29
• 3.2 自动扩容云存储系统的总体设计29-31
• 3.2.1 设计思想29-30
• 3.2.2 总体架构设计30-31
• 3.3 数据表的设计31-33
• 3.3.1 数据库集群31
• 3.3.2 数据表设计31-33
• 3.4 并发处理的设计33-39
• 3.4.1 Epoll模型的应用设计33-35
• 3.4.2 线程池数据结构的设计35-39
• 3.5 动态监控扫描算法的设计39-43
• 3.5.1 设计思想39-40
• 3.5.2 可写入时间数的计算公式40-41
• 3.5.3 数据结构的设计41-42
• 3.5.4 算法的改进42-43
• 3.6 节点扩容的设计43-45
• 3.6.1 分区的初始化设计44
• 3.6.2 互斥访问44
• 3.6.3 配额扩容接.设计44-45
• 3.6.4 数据节点扩容接.设计45
• 3.7 本章总结45-47
• 第四章 自动扩容云存储系统的实现47-66
• 4.1 数据库接.层的实现47-50
• 4.1.1 MySQL集群的安装配置47-48
• 4.1.2 数据库操作接48-50
• 4.2 并发处理的实现50-56
• 4.2.1 Epoll模型的实现50-52
• 4.2.2 线程池的实现52-56
• 4.2.2.1 线程池创建52-53
• 4.2.2.2 线程池的初始化53
• 4.2.2.3 任务队列添加任务53-54
• 4.2.2.4 线程处理函数54-55
• 4.2.2.5 线程池的销毁55-56
• 4.3 动态监控扫描算法的实现56-62
• 4.3.1 守护进程的创建56-57
• 4.3.2 创建用户树结构57-58
• 4.3.3 用户树结构的更新58-62
• 4.3.3.1 进程间的异步通信58-59
• 4.3.3.2 信号屏蔽处理59-60
• 4.3.3.3 小根堆的更新60-62
• 4.4 任务接.实现62-64
• 4.4.1 面向用户的接62-63
• 4.4.2 面向存储的接63
• 4.4.3 扩容模块接63-64
• 4.5 本章总结64-66
• 第五章 系统测试与分析66-74
• 5.1 测试方法与指标66
• 5.2 测试环境66-67
• 5.3 测试环境搭建67-69
• 5.3.1 基础设施层68
• 5.3.2 中间服务层68-69
• 5.4 测试结果分析69-73
• 5.4.1 功能测试69-71
• 5.4.2 性能测试71-73
• 5.5 本章总结73-74
• 第六章 全文总结与展望74-76
• 6.1 本文的主要工作74
• 6.2 后续工作展望74-76
• 致谢76-77
• 参考文献77-80

【参考文献】

中国期刊全文数据库 前1条

1 刘力力,樊建平;大型网络服务系统性能评测[J];计算机研究与发展;2001年07期

中国硕士学位论文全文数据库 前1条

1 刘雪;关于提高移动IP协议效率的研究[D];西安电子科技大学;2013年

，

本文编号：663932