当前位置:主页 > 科技论文 > 计算机论文 >

基于Hadoop与SSM的大数据云存储平台设计与实现

发布时间:2020-04-01 11:34
【摘要】:云计算在近年来逐渐成为国内外关注的热点。当云计算系统中的运算与处理的核心是海量数据的存储时,云计算就衍变成为一个云存储。伴随着云计算的高速发展,云存储也成为当下最为热门的研究领域。云存储作为当前的新兴服务,它把用户的数据都存储到云端的服务器上,用户只需要通过网络登录到云存储服务系统上,就能够随时随地地查看、添加自己的文件,并且再也不用担心数据的丢失了。Hadoop是阿帕奇开发的一个开源分布式计算平台。在分布式计算和数据存储方面,Hadoop表现出优异的性能,并引起了国内外知名IT公司的高度关注,各大公司和科研机构纷纷投入大量人力物力进行研究,使得Hadoop在云计算和云存储中的应用越来越广泛。Hadoop包括HDFS分布式文件系统。HDFS拥有强大的数据存储能力,特别适合在作为云存储集群中使用。但HDFS在设计上存在一些缺陷和性能上的不足。因此想要大规模推广HDFS的使用,还必须对其进行改进。本论文主要研究基于HDFS的云存储模型,并针对基于HDFS所建立的大数据云存储平台在云数据存储、安全性方面以及并发性能方面的不足对其进行改进。最后使用HDFS与当前流行的SSM服务端后台开发框架搭建一个高可用的大数据云存储平台。本论文主要分为四大部分,分别是客户端、传输层、请求处理系统、云存储集群。客户端是用户直接操作大数据云存储平台的工具;传输层提供安全加密的方式传输文件,请求处理系统是后台系统,向上接收用户请求,向下操作HDFS;云存储集群中文件直接存放的物理介质,提供海量数据存储,其与请求处理系统对接。本论文关于大数据云存储平台的主要工作和特点如下:一,云存储集群采用Hadoop搭建,同时增加备份元数据节点,组成联邦结构。HDFS的元数据存储在namenode节点上,而HDFS一般只有单一的namenode节点,所以整个HDFS的性能、存储容量以及可靠性都受到单一namenode的限制。甚至,如果namenode宕机,则整个HDFS分布式文件系统将无法正常运行。所以我们需要对HDFS的namenode进行改进,增加一个backup_namenode备份节点,以提高HDFS的可靠性。二,客户端增加一层文件系统过滤驱动加密机制。存储在HDFS上的文件都是先按一定的算法分割成多个指定大小的文件块后再存储的,换言之,HDFS都是采用明文的方式对文件进行存储。所以若HDFS被黑客攻击,导致用户数据发生泄漏,那后果将不堪设想。所以我们需要在原来HDFS的基础上,增加一层加密机制,对存储在HDFS上的文件进行加密,以提高HDFS的安全性。三,在客户端与请求处理系统使用Netty框架的非阻塞IO方式传输。与传统的云存储系统不同的是,我们这次设计的平台将使用Netty框架所支持的非阻塞IO方式传输文件,比阻塞式IO的性能更好,同时还节约了系统的线程等资源。云存储系统需要考虑的其中一个问题是整个系统的并发性,当用户请求同发数达到一定时就会严重约束云存储系统的性能与市场发展。本论文将使用非阻塞IO以增强大数据云存储平台的并发性。四,传输层使用HTTPS安全网络传输协议传输文件。HPPTS安全协议在当前IT行业最为流行和安全性较高的网络传输协议。因为,在第二部分的基于上,本论文还将进一步采用HTTPS协议以加强我们的大数据云存储平台的安全。五,采用SSM+Netty+Shiro框架搭建请求处理系统。请求处理系统使用SSM以达到快速搭建的目的,同时还减少了大部分烦琐的问题。这样即可达到处理客户端请求的要求。结合采用Shiro框架进行用户权限认证。本论文研究的大数据云存储平台具有用户分层的权限级别。对不同的用户提供不同程度的文件安全级别。另外结合第二部分提及的非阻塞IO,实现请求处理系统的高并发性能要求。本论文在最后进行大量实验验证,将采用原始的HDFS搭建的云存储系统与改进后的方案进行对比,实验结果证明,本文提出的改进方案具有更好的效果,能够发送HDFS的性能。使用改进后的Hadoop搭建的云存储集群,开发Web应用程序,通过B/S模块模拟云存储平台,实现云存储的相关功能。
【图文】:

架构图,架构


图 2-2 SpringMVC 架构图Fig.2-2 SpringMVC architecture diagramring 框架简介:ring 是一个 javaee 开发框架,,具开源性与轻量级的特点,其极大的降低企开开发难度[10]。 之前只能由 EJB 来完成的事情,也可以通过 Spring 来完成还可以在其他应用开发中使用,以实现程序的松耦合、降低开发难度和方调试。Spring 框架具有两个很重要的特性,分别面向切面编程、控制反转[1]制反转(IoP)。控制反转主要是通过工厂模式扩展而来的。开发人员把 javSpring托管。spring在启动时会初始化好java对象,接着在我们需要时,Sp些 java 对象作为属性,分配到对应的其他 java 对象里面。控制反转是 方法注入的,这样开发人员将不再需要 new 对象了。向切面(AOP)。面向切面是 spring 的特性,与 OOP 一样都是一个编程思想种技术。OOP 是从上往下的思维方向定义程序结构,却无法定义从左往右的

框架图,框架图,设备对象


图 2-3 MyBatis 框架图Fig.2-3 MyBatis architecture diagram滤驱动原理每一个 I/O 请求,从 I/O 管理器开始出发,按顺序每经过一层,与当前设备对象相关的程序会由系统层的驱动程序模型,可以实现让驱动程序创建一个面。之后如果 I/O 管理器在传送请求到下一级前发则请求会先传送到此设备对象并由它发送到下一级实现我们预设的处理逻辑,对特定的请求进行预定我们称这个粘附的设备对象为 FiDO 对象,即我们俗设备对象有关的驱动就叫做过滤驱动程序了。基于
【学位授予单位】:广东工业大学
【学位级别】:硕士
【学位授予年份】:2018
【分类号】:TP333

【参考文献】

相关期刊论文 前10条

1 荣艳冬;;关于Mybatis持久层框架的应用研究[J];信息安全与技术;2015年12期

2 郎为民;陈凯;赵旭;瞿连政;;大数据中心云存储安全研究现状[J];电信快报;2015年12期

3 范华峰;;一种基于Netty框架的网络应用服务器设计方法[J];福建电脑;2015年10期

4 徐孝成;;基于Shiro的Web应用安全框架的设计与实现[J];电脑知识与技术;2015年16期

5 周丹;;基于paxos算法的Hadoop分布式文件系统高可用性探究[J];电子测试;2014年S1期

6 崔文斌;牟少敏;王云诚;浩庆波;昌腾腾;;Hadoop大数据平台的搭建与测试[J];山东农业大学学报(自然科学版);2013年04期

7 黄经赢;;基于Shiro框架的细粒度权限控制系统的设计与实现[J];广东技术师范学院学报;2013年07期

8 徐识溥;陈建林;赵京音;曹开雄;王运圣;;HTTPS协议在单点登录系统的应用[J];微型电脑应用;2012年01期

9 王峰;雷葆华;;Hadoop分布式文件系统的模型分析[J];电信科学;2010年12期

10 沈玮;王雷;陈佳捷;;基于文件系统过滤驱动的加密系统设计与实现[J];计算机工程;2009年20期

相关硕士学位论文 前6条

1 李帅力;基于SpringMVC及MyBatis框架的智慧园区访客管理系统的设计与实现[D];浙江工业大学;2016年

2 肖凯;基于Reactor模式的Muduo网络框架技术研究[D];武汉邮电科学研究院;2016年

3 袁子淇;基于ZooKeeper的集群应用配置管理的设计与实现[D];内蒙古大学;2015年

4 缪璐瑶;Hadoop安全机制研究[D];南京邮电大学;2015年

5 翟永东;Hadoop分布式文件系统(HDFS)可靠性的研究与优化[D];华中科技大学;2011年

6 李民;基于Windows文件系统过滤驱动的文件加/解密技术研究与实现[D];四川大学;2006年



本文编号:2610397

资料下载
论文发表

本文链接:https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/2610397.html


Copyright(c)文论论文网All Rights Reserved | 网站地图 |

版权申明:资料由用户ad370***提供,本站仅收录摘要或目录,作者需要删除请E-mail邮箱bigeng88@qq.com