基于Zeromq的分布式存储系统设计

发布时间：2020-06-14 10:33

【摘要】：随着云存储、云计算技术的快速发展,数据的存储、索引、搜索已经成为互联网数据管理中心的一个重要技术瓶颈,这是因为现行互联网数据都是海量的,而基于ACID理论的关系数据库很难满足现行数据管理的需求。因此,分布式存储成为当前互联网世界数据存储及管理的基本方式。虽然分布式系统能够适应快速的横向扩张,但各个系统之间的交互变得越来越复杂,各数据结点间的数据迁移,结点的探测与发现,结点的恢复与备份导致整个系统消息传递十分庞大,因此,优秀的消息机制是分布式系统实现中的关键因素。本系统在对比现行分布式消息机制的基础上,选用轻量级ZEROMQ为本系统实现的基础,提出分布式存储系统的架构方案、设计方案、部署策略。在具体实现上,整个系统包括三个重要部分：collector信息收集、broker信息分发与策略制定以及DB数据存储。使用ZEROMQ的Routor/Delear方式来处理数据,通过组播方式探测邻近集群以及集群内主机的性能信息,根据各部分负载情况来实现负载均衡,整个系统采用查询、组播的方式来互相通知自己及其它结点的存活状态,从而可以实现结点的自动添加与删除,另外系统在存储部分使用NOSQL技术来提高系统的扩展能力以及查询效率。根据最终的测试结果,本方案能够很好的降低部署和运行成本,在保证可用性以及最终一致性的前提下,具有极高的并发性能。在兼顾效率的前提下,本系统完全能够满足现有互联网数据的分布式存储、查询、分类统计等各项需求。
【学位授予单位】：复旦大学
【学位级别】：硕士
【学位授予年份】：2013
【分类号】：TP333

【相似文献】