云平台跨域分布式共享文件系统的设计与实现

发布时间：2017-08-03 02:08

  本文关键词：云平台跨域分布式共享文件系统的设计与实现

  更多相关文章： DartCloud 跨域分布式共享文件系统 分布式文件系统 集中式元数据管理 一致性哈希算法

【摘要】：随着云计算,大数据技术的兴起,互联网产业正颠覆着传统的商业模式和生活方式,跨领域,跨行业的大数据共享云平台开始广泛应用于各个领域。而支持共享文件需求的跨域云管理系统目前还没有开源系统实现。本文的研究工作是国家863计划课题“基于互联网海量资源的语言翻译分布并行处理技术”的一部分,目的是在跨域的云环境中提供方便灵活的共享文件系统,满足跨地域多协同单位在云环境下的分级文件共享需求。本文在跨域的云平台DartCloud环境中设计实现了一个跨域分布式共享文件系统。主要贡献如下：◆分析和研究了分布式文件系统的两种主流设计思想,分析比较了两种设计思想的优缺点；同时分析了在DartCloud云平台环境下跨域分布式共享文件系统的应用需求,指出现有的文件系统的不足。◆设计和实现了跨域分布式共享文件系统。该系统能够很好的支持跨地域集群的云平台数据管理需求,同时系统采用分级共享策略,根据用户权限设置分享级别。此外,该文件共享系统也打通了与云平台虚拟机的连接,从而方便了用户本地主机和远程虚拟机的文件交换。◆对DartCloud云平台相关子系统进行了设计与开发工作,包括Topology网络拓扑系统,和DartCloudDemo翻译并行系统,通过这两个子系统,可以方便查询到云平台的网络拓扑结构,以及自动化的协同运行各家单位的翻译系统。
【关键词】：DartCloud 跨域分布式共享文件系统 分布式文件系统 集中式元数据管理 一致性哈希算法
【学位授予单位】：浙江大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP393.09
【目录】：

• 摘要4-5
• Abstract5-13
• 第1章 绪论13-22
• 1.1 课题背景13-18
• 1.1.1 云计算时代的服务方式13-14
• 1.1.2 大数据对文件存储的挑战14-15
• 1.1.3 云存储技术的发展15-16
• 1.1.4 DartCloud云平台整体背景16-18
• 1.2 国内外发展现状18-20
• 1.3 本文的主要内容20-21
• 1.4 论文组织结构21
• 1.5 本章小结21-22
• 第2章 分布式文件系统相关技术22-38
• 2.1 引言22
• 2.2 分布式文件系统概述22-24
• 2.3 集中式元数据管理代表系统GFS24-29
• 2.3.1 GFS简介24-25
• 2.3.2 GFS系统结构设计25-26
• 2.3.3 GFS的METADATA26-27
• 2.3.4 GFS的可靠性保证27-29
• 2.4 一致性哈希算法29-36
• 2.4.1 分布式哈希算法的衡量标准29-30
• 2.4.2 一致性哈希算法基本思想30-34
• 2.4.3 一致性哈希算法的平衡性改进34-36
• 2.5 两种设计思想的优缺点比较36-37
• 2.6 本章小结37-38
• 第3章 跨域分布式共享文件系统的设计38-48
• 3.1 引言38
• 3.2 云平台文件中心需求分析38-39
• 3.3 现有文件系统分析比较39-41
• 3.3.1 Google File System优缺点分析39-40
• 3.3.2 Hadoop Distributed File System优缺点分析40
• 3.3.3 Amazon S3优缺点分析40-41
• 3.4 跨域分布式共享文件系统设计41-47
• 3.4.1 跨域分布式共享文件系统的功能特点41-42
• 3.4.2 文件分布策略设计42-43
• 3.4.3 文件系统和虚拟机连通设计43
• 3.4.4 文件共享策略设计43-45
• 3.4.5 系统稳定性设计45-46
• 3.4.6 文件传输性能优化设计46-47
• 3.5 本章小结47-48
• 第4章 跨域分布式共享文件系统的实现48-59
• 4.1 引言48
• 4.2 用户权限模块实现48
• 4.3 文件上传模块实现48-51
• 4.4 文件下载模块实现51-54
• 4.5 文件共享模块实现54-55
• 4.6 文件删除模块实现55
• 4.7 增删存储节点的系统稳定性实现55
• 4.8 文件传输性能实验55-58
• 4.9 本章小结58-59
• 第5章 DartCloud云平台子系统设计与实现59-69
• 5.1 引言59
• 5.2 Topology网络拓扑子系统的设计与实现59-63
• 5.2.1 系统概述59-60
• 5.2.2 核心技术Flex事件机制研究60-63
• 5.3 DartCloudDemo翻译并行系统的设计与实现63-68
• 5.3.1 系统概述63-64
• 5.3.2 核心技术SSH端口转发机制研究64-68
• 5.4 本章小结68-69
• 第6章 总结与展望69-71
• 6.1 论文总结69
• 6.2 展望69-71
• 参考文献71-73
• 攻读硕士学位期间主要的研究成果73-74
• 致谢74

【相似文献】

中国期刊全文数据库 前10条

1 倪力舜;;基于联邦的跨域身份认证平台的研究[J];电脑知识与技术;2011年01期

2 王福;周家晶;;基于属性的跨域访问方法研究[J];信息网络安全;2011年09期

3 张秋余;张启坤;袁占亭;王锐芳;;基于格的跨域认证联盟协议[J];计算机应用;2007年04期

4 邹翔;金波;倪力舜;;跨域访问控制与边界防御方法研究[J];计算机应用研究;2010年04期

5 匡振国;倪宏;嵇智辉;;基于代理的跨域业务管理方法研究[J];微计算机信息;2010年12期

6 崔立真;田君杰;王海洋;;基于两阶段规划模型的跨域服务流程动态构造方法[J];小型微型计算机系统;2011年09期

7 李勇;马满福;何廷年;曲伟丽;;网络环境下跨域信任调度模型[J];计算机工程与应用;2009年20期

8 邓一贵;张海龙;唐学文;;跨域的混合包标记编码方案[J];计算机工程与应用;2011年08期

9 袁家斌;魏利利;曾青华;;面向移动终端的云计算跨域访问委托模型[J];软件学报;2013年03期

10 何良;方勇;方f ;蒲伟;;浏览器跨域通信安全技术研究[J];信息安全与通信保密;2013年04期

中国重要会议论文全文数据库 前9条

1 王福;周家晶;;基于属性的跨域访问方法研究[A];第26次全国计算机安全学术交流会论文集[C];2011年

2 张红旗;;网格环境下基于协商的跨域访问控制模型[A];第十一届保密通信与信息安全现状研讨会论文集[C];2009年

3 沈寒辉;邹翔;周家晶;;基于PKI的跨域边界信任计算方法[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年

4 杨宇;谭平嶂;李镭;周楝淞;;基于标识的跨域认证系统研究[A];第十一届保密通信与信息安全现状研讨会论文集[C];2009年

5 李卫兵;;跨域MPLS VPN实现方式及应用案例[A];广东省通信学会2006年度学术论文集[C];2007年

6 刘欣;沈寒辉;周家晶;;一种动态细粒度跨域访问控制模型[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年

7 陈建元;;跨域VPN部署要点[A];中国通信学会信息通信网络技术委员会2009年年会论文集（上册）[C];2009年

8 王鹏;;跨域治理中的地方政府间关系及其协调路径研究[A];市场经济与政府职能转变——2012年岭南经济论坛暨广东经济学会年会论文集[C];2012年

9 华静;;基于E通VPN跨域CN2备份组网设计[A];中国通信学会信息通信网络技术委员会2011年年会论文集（上册）[C];2011年

中国重要报纸全文数据库 前10条

1 闻颖;“跨域企业通讯专网”提升办公效率[N];中国经营报;2005年

2 本报记者 刘芳君;算大账 跨域合作的“成阿”样本[N];成都日报;2014年

3 张志伟 刘兆忠;跨域优选：信息化作战聚能新方式[N];中国国防报;2013年

4 张颖;提升企业竞争力的利器[N];中国经济导报;2005年

5 本报记者 覃世默 本报通讯员 蒙鸿翔;“跨域联建”破难题[N];广西日报;2013年

6 记者 冯爱华;“红色旅游链”呼唤跨域协作[N];长江日报;2005年

7 李东杰;“跨域作战”新解[N];解放军报;2014年

8 ;TrueConnect用MPLS实现企业跨域网络[N];中国计算机报;2002年

9 本报记者 蒲婧;政务腾上云端 跨域资源整合是推力[N];政府采购信息报;2013年

10 宋;IBM、Red Hat、 TCS联手Linux[N];计算机世界;2005年

中国博士学位论文全文数据库 前4条

1 姚瑶;互联网跨域认证关键技术研究[D];东北大学;2012年

2 李小标;跨域认证关键技术研究[D];北京邮电大学;2011年

3 邹华;NGN业务跨域互操作访问控制研究[D];北京邮电大学;2010年

4 梁海英;基于MPLS跨域VPN若干问题研究[D];东北大学;2008年

中国硕士学位论文全文数据库 前10条

1 黄小香;医用词语跨域使用研究[D];暨南大学;2010年

2 王虹;基于信任度量的Web服务跨域访问控制模型的研究[D];河北大学;2015年

3 鲁昕佳;软件定义网络的跨域交互及其应用研究[D];浙江大学;2015年

4 杨红星;云平台跨域分布式共享文件系统的设计与实现[D];浙江大学;2015年

5 卢静;我国地方政府空气污染跨域合作治理研究[D];南京大学;2015年

6 仇华炳;跨域鉴别与授权研究[D];武汉理工大学;2009年

7 林智鑫;跨域访问控制研究[D];武汉理工大学;2008年

8 裴俐春;基于信任管理的跨域认证与跨域授权机制研究[D];解放军信息工程大学;2008年

9 高燕燕;基于通用属性库的跨域访问控制[D];郑州大学;2014年

10 李勇;网络环境下跨域可信调度模型[D];西北师范大学;2010年

，

本文编号：612172