面向数字社区的云存储系统的研究与实现

发布时间：2017-09-24 17:45

  本文关键词：面向数字社区的云存储系统的研究与实现

  更多相关文章： 云存储 Hadoop HDFS 类库

【摘要】：随着信息技术的不断发展,越来越多的数据在不断产生。传统的存储方式已经渐渐不能够应对海量数据所带来的挑战。因此,如何存储海量数据成为了一个亟需解决的问题。此外,使用传统的数据存储方式进行数据存取时,很大程度上受到地域和时间的限制,不能够随时随地的存取数据或者与他人分享数据,操作繁琐。为了解决上述问题,本文面向数字社区,通过数字社区和信息技术的契合点,将云存储技术运用到其中,并参考多种设计模式,运用Hadoop的HDFS技术、SSH2框架、MVC框架和B/S架构,研究并设计了一套云存储系统。该系统可以存储海量数据,能够实现数据的随时随地存取,能够将原本复杂的数据共享操作变得简单,并且增强了人们之间的交流互动,从而良好地解决了上述问题。而且通过将云存储系统与数字社区相结合,本文能够使社区居民享受云存储带来的便利和乐趣。此外,当今很多的云存储应用,仅仅是为普通用户服务,而没有为开发人员设计一套开发工具,以提高开发效率。而本文不仅研究实现了一套云存储系统,还研究设计了一套基于该系统的类库,这也是本文的创新点。这套类库封装了开发云存储类应用所需要的各种接口、类以及方法,设计良好,功能完备,使用简单,能够提高开发人员针对云存储类应用的开发效率,缩短开发周期,降低开发难度。本文的具体研究过程如下：第一,阅读中外文文献,研究本文的关键技术,包括云存储技术、Hadoop框架技术、JSON技术以及SSH2框架技术。第二,研究本文的底层分布式文件系统。首先阐述系统底层的体系结构,介绍了NameNode与DataNode的作用。然后研究了副本管理机制,包括副本技术以及副本策略。随后研究了底层数据操作机制,包括写入操作和读取操作。最后进行了NameNode的优化设计。第三,参考多种设计模式、设计原则,参考MVC框架和B/S架构,本文对云存储系统进行了设计。首先进行系统的结构设计,然后进行了数据库设计,最后本文按照前台、后台的顺序,分别对前台模块和后台模块的关键功能做了研究与设计。第四,本文通过对开发人员的研发需求进行分析,通过对软件开发过程进行一般化的抽象、归纳和概括,研究设计了基于本系统的类库。然后使用该类哭快速开发了一个云存储类的应用,该过程验证了本类库的易用性、功能完备性,以及其在开发云盘类应用中起到的作用。
【关键词】：云存储 Hadoop HDFS 类库
【学位授予单位】：中国海洋大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP333
【目录】：

• 摘要5-7
• Abstract7-12
• 1 绪论12-20
• 1.1 研究的背景和意义12-14
• 1.1.1 研究背景12-14
• 1.1.2 研究意义14
• 1.2 云存储技术研究现状14-18
• 1.2.1 国外研究现状15-17
• 1.2.2 国内研究现状17-18
• 1.3 研究内容和思路18
• 1.4 本文的组织结构18-19
• 1.5 本章小结19-20
• 2 云存储关键技术的研究20-30
• 2.1 云存储技术20-21
• 2.1.1 云存储结构20
• 2.1.2 云存储分类20-21
• 2.2 Hadoop框架21-23
• 2.3 JSON技术23-25
• 2.4 SSH2框架25-29
• 2.4.1 Struts2框架25-28
• 2.4.2 Hibernate框架28-29
• 2.4.3 Spring框架29
• 2.5 本章小结29-30
• 3 底层分布式文件系统的研究与设计30-41
• 3.1 系统底层的体系结构30-33
• 3.1.1 NameNode31-32
• 3.1.2 DataNode32-33
• 3.2 副本管理机制33-36
• 3.2.1 副本技术33-34
• 3.2.2 副本策略34-36
• 3.3 数据操作机制36-38
• 3.3.1 写入操作36-37
• 3.3.2 读取操作37-38
• 3.4 NameNode的优化38-40
• 3.5 本章小结40-41
• 4 云存储系统的设计41-62
• 4.1 系统结构41-44
• 4.1.1 层次架构41-42
• 4.1.2 网络架构42
• 4.1.3 技术结构42-44
• 4.1.4 文件夹组织结构44
• 4.2 数据库设计44-48
• 4.2.1 概念结构44-45
• 4.2.2 逻辑结构45-48
• 4.3 前台功能模块的设计48-57
• 4.3.1 注册功能48-50
• 4.3.2 上传功能50-51
• 4.3.3 删除功能51-52
• 4.3.4 下载功能52-53
• 4.3.5 复制功能53-54
• 4.3.6 分享功能54-55
• 4.3.7 回收站功能55-57
• 4.4 后台关键功能的设计57-61
• 4.4.1 用户搜索58-59
• 4.4.2 权限管理59-60
• 4.4.3 评论搜索60-61
• 4.5 本章小结61-62
• 5 类库的设计以及应用与验证62-81
• 5.1 总体结构62-65
• 5.1.1 层次结构62-63
• 5.1.2 功能结构63-65
• 5.1.3 文件夹组织结构65
• 5.2 类库关键模块的设计65-72
• 5.2.0 数据库脚本库65-66
• 5.2.1 服务类库66-71
• 5.2.2 功能类库71-72
• 5.3 类库的应用与验证72-80
• 5.3.1 准备工作72-74
• 5.3.2 类库的应用过程74-79
• 5.3.3 结论79-80
• 5.4 本章小结80-81
• 6 总结与展望81-83
• 6.1 文章总结81
• 6.2 文章创新点81-82
• 6.3 研究展望82-83
• 参考文献83-87
• 致谢87-88
• 个人简历88

【相似文献】

中国期刊全文数据库 前10条

1 李红;蓝光存储系统 光盘容量高达23G[J];信息记录材料;2004年01期

2 ;存储系统 金融行业应用卓越奖 医疗行业应用卓越奖[J];每周电脑报;2004年20期

3 诺拉;EMC Symmetrix DMX-3存储系统 超大容量 高速存取[J];中国计算机用户;2005年31期

4 谢世诚;;浪潮推出4Gb光纤存储系统[J];微型机与应用;2006年07期

5 ;昆腾分级存储系统[J];软件世界;2009年11期

6 ;超低功耗云存储系统或被地方政府看好[J];中国有线电视;2013年08期

7 汤赫男;;云存储系统的分析与应用研究[J];计算机光盘软件与应用;2013年24期

8 谌伟;;云存储系统的分析与应用探讨[J];数字技术与应用;2013年10期

9 雅君;跟上企业的匆匆脚步——利用HP SureStoreEXP256构筑企业存储系统[J];中国计算机用户;2000年08期

10 贾莉;;Symmetrix8000实现19TB存储[J];每周电脑报;2000年18期

中国重要会议论文全文数据库 前10条

1 赵志刚;;存储系统在企业信息化中的应用[A];2005年安徽通信论文集[C];2006年

2 黄晓峰;张杰;;矿井信息中心存储系统设计[A];安全高效矿井机电装备及信息化技术——陕西省煤炭学会学术年会论文集（2011）[C];2011年

3 孙哲;李昌银;;构建核电高可用云存储系统[A];2012电力行业信息化年会优秀论文专辑[C];2012年

4 焦超;周天彤;李祥学;李建华;;面向灾备的高性能可信存储系统设计[A];第十一届保密通信与信息安全现状研讨会论文集[C];2009年

5 汪位龙;;设计院存储系统建设初探[A];中国公路学会计算机应用分会2004年年会学术论文集[C];2004年

6 梅松竹;李宗伯;;Storage 7000系列混合存储系统分析[A];2009年中国高校通信类院系学术研讨会论文集[C];2009年

7 王克敏;张玺;胡江凯;王毅涛;;NWP资料归档方法及其存储系统的应用[A];中国气象学会2006年年会“中尺度天气动力学、数值模拟和预测”分会场论文集[C];2006年

8 孙哲;李昌银;;DeDu:基于云计算的冗余删除存储系统[A];电力行业新一代信息技术研讨会论文集[C];2011年

9 高小伍;党齐民;林晨;;校园网存储系统的研究与实现[A];中国高等教育学会教育信息化分会第十次学术年会论文集[C];2010年

10 宫海林;郭长国;苑洪亮;王怀民;;支持事务的非结构化数据聚合存储系统GSL[A];2006年全国开放式分布与并行计算机学术会议论文集（三）[C];2006年

中国重要报纸全文数据库 前10条

1 ;第三季度中国存储系统市场达19.1亿元[N];中国高新技术产业导报;2005年

2 本报记者 薛斐;服务：存储系统的灵魂[N];计算机世界;2002年

3 单群一;惠普推出全新一体化存储系统[N];中国税务报;2007年

4 ;浪潮推出4Gb光纤存储系统[N];人民邮电;2006年

5 ;今年第二季度 存储系统市场价值达12.6亿元[N];人民邮电;2006年

6 郭;日立推出普及型存储系统[N];计算机世界;2007年

7 陈耀光;朗登 扛起存储系统设计院的大旗[N];中国企业报;2001年

8 ;富士通存储系统全面升级[N];网络世界;2009年

9 ;EMC亚洲生产制造中心落户深圳[N];网络世界;2009年

10 临履;存储系统有了“设计院”[N];网络世界;2001年

中国博士学位论文全文数据库 前10条

1 赵雨虹;云存储系统资源调度技术研究[D];华中科技大学;2015年

2 陆承涛;存储系统性能管理问题的研究[D];华中科技大学;2010年

3 聂雪军;内容感知存储系统中信息信息生命周期管理关键技术研究[D];华中科技大学;2011年

4 罗东健;大规模存储系统高可靠性关键技术研究[D];华中科技大学;2011年

5 聂雪军;内容感知存储系统中信息生命周期管理关键技术研究[D];华中科技大学;2010年

6 王鹏;低密度奇偶校验码应用于存储系统的关键技术研究[D];华中科技大学;2013年

7 刁莹;用数学建模方法评价存储系统性能[D];哈尔滨工程大学;2013年

8 符青云;面向大规模流媒体服务的高性能存储系统研究[D];电子科技大学;2009年

9 王玉林;多节点容错存储系统的数据与缓存组织研究[D];电子科技大学;2010年

10 田敬;对等存储系统中的数据可用性与安全性研究[D];北京大学;2007年

中国硕士学位论文全文数据库 前10条

1 冯汉超;基于Hadoop的分布式副本策略研究[D];河北工程大学;2015年

2 张明;IaaS中基于热点数据的存储系统研究与实现[D];哈尔滨工业大学;2015年

3 蒋静远;基于数据通道的非结构化数据多存储系统[D];浙江大学;2015年

4 郭晖;面向高清视频监控的流存储系统设计与实现[D];电子科技大学;2015年

5 许孟杰;嵌入式快速存储模块的研究与实现[D];中国舰船研究院;2015年

6 何洁和;面向POI的分布式结构化存储系统存储引擎设计与实现[D];电子科技大学;2014年

7 王晓;混合存储系统高效快照技术研究[D];北京理工大学;2015年

8 邱登峰;基于Hadoop可公共审计云存储的设计与实现[D];大连理工大学;2015年

9 张致元;电子商品存储系统设计与研究[D];复旦大学;2014年

10 刘秉煦;云存储环境下的混合存储算法研究与实现[D];上海交通大学;2015年

，

本文编号：912621