海量流数据存储系统元数据服务器的设计与实现
发布时间：2021-06-09 18:26
随着视频监控技术的发展,各种监控设备已经遍布大街小巷。视频监控技术极大地方便了我们的生活,但海量监控数据的存储也给相关基础设施带来了严峻的挑战。分布式存储系统能够很好的满足这一需求,对比国内外典型的分布式存储系统架构,不难发现元数据服务器高可用性与元数据可靠性往往是此类系统所要解决的难点。本文以监控视频流存储为背景,围绕海量流数据存储系统的元数据服务器,关注元数据高可靠性和元数据服务器高可用性方面的研究。主要工作如下:1.基于VBSM块设备的高可靠元数据管理模型。通过VBSM块设备,将元数据服务器与元数据的持久化存储分离。使用VBSM块设备作为元数据的持久化存储载体,底层分布式集群对块设备内元数据提供多副本容错;元数据服务器程序负责保证内存中元数据的正确性,并通过定时刷新与立即刷新相结合的方式将内存中元数据持久化至块设备内。相比于传统存储系统使用本机磁盘或者数据库作为元数据的存储,可以极大地提高元数据的可靠性;2.多策略双机热备方法。首先通过快/慢结合的心跳机制,完成主备协商,状态监测以及服务器模式的切换;另外借助与数据库的时间同步机制实现对运行状态的第二重心跳检测,避免脑裂问题;3....
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：89 页
【学位级别】：硕士
【部分图文】：
HDFS1.0架构图
电子科技大学硕士学位论文8ls的功能；2）文件的组成信息：文件与数据块的映射关系；3）数据块副本的位置信息：数据块副本与DataNode节点的映射关系，一个数据块的多个副本分布在不同的存储节点上[4]。这些数据保存在内存中，同时在NameNode本机磁盘中保存两个备用管理文件：文件系统镜像和操作日志。NameNode启动时，首先要将系统镜像文件和操作日志文件从磁盘加载至内存，这两个文件相结合可以构造出系统完整的元数据。客户端的IO请求到达时，NameNode首先更新操作日志，然后进行实际的IO工作。NameNode定期会把内存中最新的操作日志与文件系统合并，生成新的镜像文件。从元数据可靠性的角度来说，HDFS1.0中使用本机磁盘进行元数据持久化的元数据管理方式，会导致元数据的可靠性较差，一旦NameNode节点磁盘损坏，元数据无法访问，整个系统将变得不可用。此外，从元数据服务器高可用的角度来看，NameNode存在明显的单点故障问题，一旦NameNode程序故障，系统所有服务也会因此而终止。2.1.1.2元数据服务器高可用机制图2-2HDFS2.0架构图图2-2所示为HDFS2.0架构图，为解决HDFS1.0中NameNode的单点故障问题，HDFS2.0中引入了关于NameNode的HA机制。HA机制内包含两个NameNode，分为Active和Standby两种状态。两个NameNode一主一备同时运行，ActiveNameNode可以对外提供服务，响应客户端的IO请求，StandbyNameNode为服务静默状态，不能对客户端提供服务。ActiveNameNode和StandbyNameNode使用
第二章理论基础及相关技术9NFS（网络文件系统）作为二者之间的共享存储空间，完成数据同步。ActiveNameNode在运行的过程中，会把每个操作记录写到本机的操作日志文件中，并传输到网络文件系统中。StandbyNameNode定期从网络文件系统中获取最近的操作日志，然后用操作日志和本机的文件系统镜像合并出一个最新的文件系统镜像，合并完成后使用最新文件系统镜像替换网络文件系统中的旧版文件系统镜像，并通知ActiveNameNode从网络文件系统中获取最新版镜像文件。采用这种方式，StandbyNameNode可以同步到ActiveNameNode内最新的元数据，当ActiveNameNode出现故障意外宕机时，StandbyNameNode便可迅速切换状态至Active，成为新的ActiveNameNode，解决NameNode单点故障，保证HDFS实时平稳运行。ActiveNameNode和StandbyNameNode使用ZooKeeper集群完成主备切换。2.1.2Ceph图2-3Ceph系统的层次结构Ceph存储系统集对象、块和文件三种语义于一身，可以满足不同应用的存储需求。此外，Ceph是真正的无中心结构，理论上没有扩展上限[5]。图2-3所示为Ceph存储系统的层次结构。RADOS[6]是一个分布式对象存储系统,作为Ceph系统中的基础存储层，负责系统中用户数据的实际存储工作。如图2-4所示，RADOS系统由Monitor节点，OSDs节点和Client程序三部分组成。Monitor，接受OSD的状态信息上报，维护整个系统的状态拓扑图。OSD（ObjectStorageDevice），物理存储的daemon进程，负责数据存储和维护，并与Monitor通信。Client，是Ceph提供给上层应用的访问接口。本小节主要对RADOS系统内元数据管理方案和元数据服务器高可用技术进行介绍和分析。
【参考文献】：
期刊论文
[1]一种多策略双机热备方法[J]. 罗贵舟,王锦杰,杨旭斌,蒋兰兰,巩远航. 计算机测量与控制. 2019(03)
[2]面向海量高清视频数据的高性能分布式存储系统[J]. 操顺德,华宇,冯丹,孙园园,左鹏飞. 软件学报. 2017(08)
[3]视频监控存储系统的设计与实现[J]. 江冕,牛中盈,张淑萍. 计算机工程与设计. 2014(12)
[4]Namenode单点故障解决方案研究[J]. 邓鹏,李枚毅,何诚. 计算机工程. 2012(21)
[5]基于EPOLL的单进程事件驱动通信服务器设计与分析[J]. 段翰聪,卢显良,宋杰. 计算机应用. 2004(10)
本文编号：3221094
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：89 页
【学位级别】：硕士
【部分图文】：
HDFS1.0架构图
电子科技大学硕士学位论文8ls的功能；2）文件的组成信息：文件与数据块的映射关系；3）数据块副本的位置信息：数据块副本与DataNode节点的映射关系，一个数据块的多个副本分布在不同的存储节点上[4]。这些数据保存在内存中，同时在NameNode本机磁盘中保存两个备用管理文件：文件系统镜像和操作日志。NameNode启动时，首先要将系统镜像文件和操作日志文件从磁盘加载至内存，这两个文件相结合可以构造出系统完整的元数据。客户端的IO请求到达时，NameNode首先更新操作日志，然后进行实际的IO工作。NameNode定期会把内存中最新的操作日志与文件系统合并，生成新的镜像文件。从元数据可靠性的角度来说，HDFS1.0中使用本机磁盘进行元数据持久化的元数据管理方式，会导致元数据的可靠性较差，一旦NameNode节点磁盘损坏，元数据无法访问，整个系统将变得不可用。此外，从元数据服务器高可用的角度来看，NameNode存在明显的单点故障问题，一旦NameNode程序故障，系统所有服务也会因此而终止。2.1.1.2元数据服务器高可用机制图2-2HDFS2.0架构图图2-2所示为HDFS2.0架构图，为解决HDFS1.0中NameNode的单点故障问题，HDFS2.0中引入了关于NameNode的HA机制。HA机制内包含两个NameNode，分为Active和Standby两种状态。两个NameNode一主一备同时运行，ActiveNameNode可以对外提供服务，响应客户端的IO请求，StandbyNameNode为服务静默状态，不能对客户端提供服务。ActiveNameNode和StandbyNameNode使用
第二章理论基础及相关技术9NFS（网络文件系统）作为二者之间的共享存储空间，完成数据同步。ActiveNameNode在运行的过程中，会把每个操作记录写到本机的操作日志文件中，并传输到网络文件系统中。StandbyNameNode定期从网络文件系统中获取最近的操作日志，然后用操作日志和本机的文件系统镜像合并出一个最新的文件系统镜像，合并完成后使用最新文件系统镜像替换网络文件系统中的旧版文件系统镜像，并通知ActiveNameNode从网络文件系统中获取最新版镜像文件。采用这种方式，StandbyNameNode可以同步到ActiveNameNode内最新的元数据，当ActiveNameNode出现故障意外宕机时，StandbyNameNode便可迅速切换状态至Active，成为新的ActiveNameNode，解决NameNode单点故障，保证HDFS实时平稳运行。ActiveNameNode和StandbyNameNode使用ZooKeeper集群完成主备切换。2.1.2Ceph图2-3Ceph系统的层次结构Ceph存储系统集对象、块和文件三种语义于一身，可以满足不同应用的存储需求。此外，Ceph是真正的无中心结构，理论上没有扩展上限[5]。图2-3所示为Ceph存储系统的层次结构。RADOS[6]是一个分布式对象存储系统,作为Ceph系统中的基础存储层，负责系统中用户数据的实际存储工作。如图2-4所示，RADOS系统由Monitor节点，OSDs节点和Client程序三部分组成。Monitor，接受OSD的状态信息上报，维护整个系统的状态拓扑图。OSD（ObjectStorageDevice），物理存储的daemon进程，负责数据存储和维护，并与Monitor通信。Client，是Ceph提供给上层应用的访问接口。本小节主要对RADOS系统内元数据管理方案和元数据服务器高可用技术进行介绍和分析。
【参考文献】：
期刊论文
[1]一种多策略双机热备方法[J]. 罗贵舟,王锦杰,杨旭斌,蒋兰兰,巩远航. 计算机测量与控制. 2019(03)
[2]面向海量高清视频数据的高性能分布式存储系统[J]. 操顺德,华宇,冯丹,孙园园,左鹏飞. 软件学报. 2017(08)
[3]视频监控存储系统的设计与实现[J]. 江冕,牛中盈,张淑萍. 计算机工程与设计. 2014(12)
[4]Namenode单点故障解决方案研究[J]. 邓鹏,李枚毅,何诚. 计算机工程. 2012(21)
[5]基于EPOLL的单进程事件驱动通信服务器设计与分析[J]. 段翰聪,卢显良,宋杰. 计算机应用. 2004(10)
本文编号：3221094
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/3221094.html
