在线云存储系统的设计与应用

发布时间：2020-08-05 13:42

【摘要】：根据IDC的最新数据,目前全球数据量每18个月就要翻一番,全球每年产生的数据量已经达到40EB(1EB=1000PB)。如此高速增长的数据量,传统的存储已经不能满足人们的需求。与此同时,随着中国电信的光纤到户工程推广,中国到户带宽将会得到飞跃式的提高,预计到2012年,12M以上的大带宽将在大中城市普及。在线存储类的互联网产品发展时机已经成熟。而中国电信广东分公司建于2007年,原有基于单站点文件存储设计的在线存储产品-e家硬盘,已经满足不了客户对带宽、性能、功能等多方面的要求。为适应形势要求,迎接新挑战,争取在未来存储市场中获胜,如何设计一套能方便业务扩展、性能良好、功能强大的新在线存储产品提上了议题。针对在线存储产品对实用性、存储空间、读取性能、安全稳定性等诸多高性能要求,如何设计好底层存储架构,如何合理集成和实现业务流程控制,如何实现在线存储的优越性显得特别重要。云存储是近年来一种新兴的网络存储服务,是在云计算概念上延伸和发展出来的一个新的概念,是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。云存储系统的好处显而易见:硬件冗余、自动的故障切换、存储设备升级不会导致服务中断、容量分配不受物理硬盘限制、负载均衡、海量并行扩容。因此,本课题提出了建设基于云存储的在线存储系统,在已有成熟的云存储技术上,结合实际业务逻辑,应用到实际生产,开发出在线存储产品-新e家硬盘系统,为中国电信宽带用户提供优质的互联网产品,并为企业带来实质经济效益。新的e家硬盘系统(以下称迅盘),抛弃了原有单数据库存储结构,将使用技术先进的云存储为底层存储,在原有支持PC客户端、Web浏览器客户端的基础上,新引入3G手机、Wap、iPad等客户端的支持,且在原有业务流程上进行完善。行程用户的数据存储中心,只要在能接入互联网的地方,都能方便、快捷地读取所需的数据,将极大地提高效率,同时感受到新技术带来的优越。
【学位授予单位】：华南理工大学
【学位级别】：硕士
【学位授予年份】：2010
【分类号】：TP333
【图文】：

架构图,架构,控制节点

6图 2-1 云存储简易架构图橘色的存储节点(storage node)负责存放文件，蓝色的控制节点(control node)则是作为文件索引，并负责监控存储节点间容量及负载的均衡，这 2 个部分合起来便组成一个云存储。存储节点与控制节点都是单纯的服务器，只是存储节点的硬盘多一些，存储节点服务器不需要具备 RAID 的功能，只要能安装 Linux 即可，控制节点为了保护数据，需要有简单的 RAID level 01 的功能。每个存储节点与控制节点至少有 2 片网卡(千兆、万兆卡都可以，有些也支持infiniband)，一片网卡 internal 负责内部存储节点与控制节点的沟通、数据迁移，一片external 负责对外应用端的数据读写，一片千兆卡，读可以达到 100MB，写可以达到70MB，如果觉得对外一片网卡不够，也可以多装几片。上面灰色的方块(NFS、HTTP、FTP、WebDav)是应用端，左上角的灰色方块(mgmtconsole)是一台 PC，负责云存储中存储节点的管理。对应用端看来，云存储只是个文件

模型图,存储结构,模型,存储设备

图 2-2 云存储结构模型储系统的结构模型由 4 层组成：访问层、应用接口层、基础管理层、存储储层层是云存储最基础的部分。存储设备可以是 fc 光纤通道存储设备，可以是等 ip 存储设备，也可以是 scsi 或 sas 等 das 存储设备。云存储中的存储设备且分布多不同地域，彼此之间通过互联网或者 fc 光纤通道网络连接在一起上是一个统一存储设备管理系统，可以实现存储设备的逻辑虚拟化管理、理，以及硬件设备的状态监控和故障维护。础管理层管理层是云存储最核心的部分。基础管理层通过集群、分布式文件系统和术，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以种服务，并提供更大更强更好的数据访问性能。

逻辑图,系统业务,逻辑图,包月

1）对于采用后付费的包月用户，可以选择在网上营业厅、1000 号、电信营业厅进行业务退订，退订后的下一个计费周期开始，用户无法使用 e 家硬盘业务，系统也不会在对用户进行计费。2）采用预付费的用户，在其使用权限过期或点卡消费完毕后，其将无法在链接 e家硬盘平台，业务自然结束。本期业务需求主要考虑采用预付费包月套餐的方式。用户销户后，根据业务策略将保存用户数据指定时间，并不立即删除；用户再次启动后，仍可使用原有信息及文件。3.4 业务模块架构迅盘业务由多层业务模块组成，实现功能模块化，提高可复用性。

【引证文献】