分布式元数据管理系统的设计与实现

发布时间：2024-02-07 05:24

　　在智慧城市建设的浪潮下,全国各个城市已基本形成覆盖全市的城市视频监控系统网络,智慧安防、人脸身份认证已全面铺开。基于人脸识别技术的智能监控系统中需要处理庞大的图片流数据,所以现有的系统普遍采用分布式系统架构。然而在这样的架构下,系统中存在多节点和大量的元数据操作,如何保证系统中元数据的一致性使得节点对外提供一致的服务,显得尤为重要;而且,系统中需要处理大量的计算请求,如何根据物理机的实际负载状况进行合理的调度,从而达到负载均衡的问题依然突出;此外,在硬件故障、网络异常等复杂条件下,分布式系统中不可避免会出现节点故障,如何保证数据安全,使系统具备较强的容错性也亟待解决。因此,如何在分布式系统上提供一种元数据管理服务,来保证系统数据的一致性、可靠性和高吞吐量,是本文需要解决的关键问题。本文以自行开发的人脸识别系统为背景,设计和实现了其中的子系统,即分布式元数据管理系统。并详细阐述了该系统涉及到的理论基础、设计方案、实现过程及测试分析。论文完成的主要工作如下:1)在数据一致性方面,元数据服务器节点采用一主多从的集群管理方式,将单个元数据服务器控制节点升级为多个同构节点的服务器集群,解决了单点...

【文章页数】：82 页

【学位级别】：硕士

【部分图文】：

图1OpenAppV架构

图1OpenAppV架构意软件。但其大多都是针对windows应用所提出的商业方案，且应用在运行的过程中需网络支持，由于与OS分离，性能有所下降。对现有的开源云平台研究发现，在创建虚拟机实例时，镜像与应用并没有分离，导致相同的OS因包含不同的应用而形成多个虚拟机镜像，用户往往因为....

图5-2系统初始化及检测节点

第五章测试与分析61盘的可用性。测试目的：测试系统启动的初始化配置。测试条件：各个节点配置文件已完成。测试步骤：1)通过读取上一次元数据的持久化数据来检测系统是否启动成功；2)读取到的Master节点和Slave节点仍然属于正常节点并进一步检测是否有带角色分配的节点；3)检测元数....

图5-4磁盘检查

电子科技大学硕士学位论文62图5-4磁盘检查5.2.2集群选举测试集群选举测试只针对系统在初始化检测完成之后，集群开始启动并且发起投票的流程。投票结束时应当选举出系统当前的Leader并且开始通过心跳报文进行交互。测试目的：集群能否成功选举Leader并进行服务。测试条件：系统初....

图5-9Leader异常时的处理

电子科技大学硕士学位论文645.2.4节点异常测试节点异常测试主要是针对Leader发生异常下线时集群的管理测试。通过选举流程可以选举出当前的Leader，而在系统Leader因为意外不能正常工作时应当选举新的Leader。系统当前仍然执行选举流程，Leader选举成功之后开始进....

本文编号：3896838