虚拟计算环境分布式存储系统设计与实现

发布时间：2020-11-15 00:01

　　 互联网应用的飞速发展,使目前网络上聚集了海量资源。而这些资源大多处于闲置状态,这就引发了人们对如何利用这些闲置资源来解决实际问题的思考。然而在互联网环境下,对成长、多样的网络资源,难以沿用传统的全局集中控制式的资源管理,必须在计算环境的机理上有所突破。因此,一些计算技术相继出现,虚拟计算环境(iVCE)就是其中一种,具体是指建立在开放的互联网基础设施之上,以网络资源的按需聚合与自主协同为核心机制,为终端用户或应用系统提供可信,透明的一体化服务环境,实现有效资源共享和便捷合作工作。 基于iVCE的分布式存储作为iVCE平台之上的一个典型应用,是对iVCE按需聚合和自主协同思想可行性以及iVCE平台已有功能有效性的一个积极的验证,同时也将促进iVCE思想和iVCE平台进一步的完善。在前期研究的基础上,本文分析了现有系统的不足之处,提出了虚拟分布式存储体系结构(Virtual Distributed Storage Architecture,简称VDSA)。基于该体系结构的分布式存储系统与其它的分布式存储系统相比,主要区别在于VDSA利用自主元素的理念封装存储资源,利用按需聚合的机理聚合存储资源,利用自主协同的理念使用存储资源；同时由于构建复杂多变的Internet之上，VDSA分布式存储系统在备份机制和同步机制方面做出了更细致的考虑。初步的测试表明,VDSA能够提供健壮、高效、安全的存储服务。
【学位单位】：北京邮电大学
【学位级别】：硕士
【学位年份】：2010
【中图分类】：TP333
【文章目录】：
摘要
Abstract
第1章 绪论
    1.1 课题背景
        1.1.1 虚拟计算环境（iVCE）
        1.1.2 虚拟计算环境中的存储需求
        1.1.3 分布式存储相关技术分析
            1.1.3.1 直接连接存储DAS
            1.1.3.2 网络附加存储NAS
            1.1.3.3 存储区域网SAN
            1.1.3.4 集群存储
            1.1.3.5 对等（P2P）存储
            1.1.3.6 网格存储
            1.1.3.7 云存储
            1.1.3.8 分布式存储技术的发展趋势
    1.2 主要研究内容及意义
    1.3 研究生期间其他研究工作
    1.4 论文的组织结构
第2章 基于虚拟计算环境的分布式存储需求分析
    2.1 虚拟计算环境核心思想及主要概念
    2.2 虚拟计算环境体系结构研究
    2.3 虚拟计算环境试验平台特点
    2.4 试验平台对存储系统带来的设计要求
    2.5 iVCE对分布式存储系统的功能需求
        2.5.1 用户分类
        2.5.2 功能性需求
        2.5.3 不同用户与各功能需求的对应关系
    2.6 iVCE对分布式存储系统的非功能需求
        2.6.1 QoS需求
        2.6.2 安全需求
    2.7 本章小结
第3章 前期研究工作简介
    3.1 系统结构
    3.2 模块设计与实现
    3.3 工作流程设计
    3.4 QoS保证设计和实现
        3.4.1 储存块大小的选择
        3.4.2 监测机制
        3.4.3 快速恢复机制
        3.4.4 备份机制
        3.4.5 协调者可靠性
        3.4.6 自适应数据传输机制
        3.4.7 系统自愈机制
    3.5 安全机制设计和实现
        3.5.1 数据保密性
        3.5.2 用户验证和用户授权
        3.5.3 单一登陆
        3.5.4 数据完整性
        3.5.5 数据有效性
    3.6 本章小结
第4章 基于虚拟计算环境的分布式存储系统改进研究
    4.1 基于虚拟计算环境的存储系统前期研究成果分析
    4.2 虚拟分布式存储体系结构（VDSA）
        4.2.1 VDSA的定义
        4.2.2 VDSA核心概念描述
    4.3 VDSA存储系统结构
    4.4 存储系统模块设计与实现
        4.4.1 Storage模块
            4.4.1.1 存储模块
            4.4.1.2 域管理模块
        4.4.2 Agent模块
            4.4.2.1 块管理模块
            4.4.2.2 Tracker模块
            4.4.2.3 副本管理模块
            4.4.2.4 域查询模块
    4.5 VDSA存储系统工作流程设计
        4.5.1 总体流程图
        4.5.2 用户业务序列图
            4.5.2.1 上传文件交互图
            4.5.2.2 下载文件交互图
            4.5.2.3 内容删除序列图
    4.6 备份机制设计
        4.6.1 典型模型分析
        4.6.2 基于频率的备份机制FRM
            4.6.2.1 FRM备份原理
            4.6.2.2 FRM备份机制的实现
            4.6.2.3 FRM备份机制的缺点
        4.6.3 自适应动态备份机制FSRM
            4.6.3.1 FSRM备份原理
            4.6.3.2 FSRM备份机制的缺点
        4.6.4 基于用户下载体验值的备份机制CPRM
            4.6.4.1 CPRM设计原理
            4.6.4.2 CPRM用户下载体验值的度量
            4.6.4.3 Tracker模块
            4.6.4.4 副本管理模块
            4.6.4.5 CPRM副本管理流程
    4.7 同步机制设计
        4.7.1 VDSA同步需求分析
        4.7.2 VSM同步机制工作原理
        4.7.3 VSM同步序列图
    4.8 VDSA存储系统与前期系统比较
    4.9 本章小结
第5章 VDSA存储系统性能分析
    5.1 虚拟计算环境中VDSA测试环境
    5.2 虚拟计算环境中VDSA测试方案
    5.3 测试过程及结果分析
        5.3.1 文件相关功能测试及结果分析
        5.3.2 系统性能测试及结果分析
    5.4 本章小结
第6章 结束语
    6.1 工作总结
    6.2 下一步展望
参考文献
致谢
作者攻读学位期间发表的学术论文目录

【相似文献】

相关期刊论文 前10条

1 卢益阳;;分布式存储系统调查[J];企业科技与发展;2011年16期

2 蒋海鸥;;从虚拟化应用谈虚拟机迁移[J];程序员;2010年09期

3 钟亮;胡春明;沃天宇;李建欣;康俊彬;;支持软件按需流式加载的预取机制[J];计算机研究与发展;2011年07期

4 董世晓;;互联网架构一席谈——知名架构师畅谈互联网架构热点话题[J];程序员;2010年11期

5 郭辉;;高清平台存储系统部署方案设计[J];中国公共安全(综合版);2011年06期

6 丛磊;;Sina App Engine架构——云计算时代的分布式Web服务解决方案[J];程序员;2010年11期

7 刘琨;李爱菊;董龙江;;基于Hadoop的云存储的研究及实现[J];微计算机信息;2011年07期

8 段春乐;丁照宇;;云计算的关键技术及系统实例的实现[J];电脑知识与技术;2011年26期

9 邓维;;西南大学:跨库检索快速共享异构资源[J];中国教育网络;2011年08期

10 ;新闻[J];程序员;2010年09期

相关博士学位论文 前10条

1 胡燏翀;基于网络编码的分布式存储容错机制研究[D];中国科学技术大学;2010年

2 魏青松;大规模分布式存储技术研究[D];电子科技大学;2004年

3 岳利群;基于分布式存储的虚拟地理环境关键技术研究[D];解放军信息工程大学;2011年

4 张圣栋;虚拟计算环境中高效发布订阅系统研究[D];国防科学技术大学;2011年

5 项国富;虚拟计算环境的安全监控技术研究[D];华中科技大学;2012年

6 周旭;面向Internet的大规模分布式存储技术研究[D];电子科技大学;2004年

7 万武南;分布式安全存储系统纠删码技术的研究[D];中国科学院研究生院（成都计算机应用研究所）;2006年

8 侯孟书;基于P2P的分布式存储及其相关技术研究[D];电子科技大学;2005年

9 郭渊博;容忍入侵的理论与方法及其应用研究[D];西安电子科技大学;2005年

10 马新新;非结构化对等网信任和信誉机制研究[D];电子科技大学;2009年

相关硕士学位论文 前10条

1 张彦;虚拟计算环境分布式存储系统设计与实现[D];北京邮电大学;2010年

2 李宇飞;基于虚拟计算环境的业务承载平台的实现[D];北京邮电大学;2011年

3 罗岚楠;基于三层体系结构的分布式存储访问系统技术研究[D];电子科技大学;2012年

4 宋铮;虚拟计算取证技术研究[D];上海交通大学;2011年

5 李振;基于虚拟计算环境的自治社区研究[D];中国石油大学;2011年

6 刘刚;分布式存储网络中的数据完整性校验与修复[D];上海交通大学;2012年

7 王文兴;虚拟计算环境中任务调度策略研究[D];中国石油大学;2011年

8 罗浩;基于P2P的分布式存储研究与实现[D];电子科技大学;2011年

9 王可佳;现代服务业基于单元的分布式存储模型[D];北京邮电大学;2010年

10 金雪姣;基于数据消冗和Chord协议的分布式存储技术研究[D];哈尔滨工业大学;2010年

本文编号：2884086