携程分布式云存储系统的设计与实现

发布时间：2024-01-30 07:56

　　携程是国内最大的在线旅游平台,每天都会新增海量的图片、视频、音频以及其它格式的文件数据,这些数据量已经远远超过了单个计算机的存储和处理能力,为了解决这些问题,本文提出携程分布式云存储系统解决方案。携程分布式云存储系统在开源的分布式文件系统的基础上进行扩展,不仅能够存储海量文件,还要求做到以下几点创新:文件元数据管理、图片处理、多机房部署和文件同步,同时这几点也是本文需要解决的主要问题。本文对于解决如何进行文件元数据管理,首先将所有的文件信息作为元数据进行持久化保存在系统中,这样可以对存储在系统中的文件进行有效的管理,并提出了改进元数据索引算法和文件名生成和解析算法,元数据索引算法使元数据查询速度提高近5倍,文件名生成和解析算法在满足业务需求的前提下,提高元数据的安全性。对于解决图片处理问题,本文提出图片处理过程算法可以有效的提高图片处理性能,满足系统用户对于图片处理的性能要求。本文最重要的创新点是多机房部署和文件同步框架,在全球化的背景下,在全球主要热点地区建立机房是必不可少的,同时还可以保证系统的可靠性和安全性,这是目前业界很多分布式存储系统难以达到的。携程分布式云存储系统作为基础框...

【文章页数】：82 页

【学位级别】：硕士

图３．１技术架构图??１２??

图４．４元数据査找响应时间对比图??

图5.1多机房数据同步功能架构图

图５．２?ＪｏｂＡｇｅｎｔ调度配置??５．２．３?Ｈｅｒｍｅｓ消息队列??

本文编号：3889803