分布式视频流存储系统的设计与实现

发布时间：2017-09-15 18:46

  本文关键词：分布式视频流存储系统的设计与实现

  更多相关文章： 视频监控 分布式存储 纠删码 磁盘I/O

【摘要】：视频监控系统的广泛应用,为城市的公共安全和发展提供了技术保障。近年来,随着“平安城市”等大规模视频监控系统的广泛部署,如何有效和可靠地存储视频数据成为系统中急需解决的问题。传统的视频监控系统通常采用集中式存储的架构,多台摄像机连接专用设备进行数据存储。在海量监控点和高清视频数据的场景下,传统的存储系统面临着性能、存储容量、数据可靠性和系统可扩展性的问题。因此,采用分布式存储系统作为视频监控的数据存储解决方案,成为了近年来的发展趋势。论文作者及所在团队通过对课题相关的分布式存储和文件系统原理、存储编码理论以及相关技术的学习和研究,设计并实现了一套分布式视频流存储系统。论文主要内容集中在作者在该系统中承担系统的设计、存储子系统实现和测试工作。作者设计了一套基于纠删码的数据存储框架,将视频流存储系统中的多副本机制替换为纠删码机制,通过多节点的数据放置策略,将编码后的数据进行分布式存储,提供了磁盘以及节点失效的容错性,并降低了存储空间的开销。与此同时,设计了一套存储节点调度机制,在满足写入性能和故障容忍的前提下,尽可能使最少的节点和磁盘处于工作状态,降低能耗。此外,通过数据缓冲策略和多路并发视频流调制机制,将磁盘的随机写入转换成连续写入,提高I/O吞吐率的同时减少磁盘损耗,使得单台节点能够支持更多数量的视频流存储。有效的元数据管理机制使得集群中的元数据管理可以在单个节点内完成,从而提供了良好的可扩展性,存储系统可以通过增加和删除存储节点的方式灵活的伸缩。最后,论文作者对该存储系统进行了功能测试和性能测试。功能测试结果表明,该系统能够满足视频流数据存储的需求,提供数据的存储、读取和容错。作者通过对性能测试的结果进行分析,认为该存储系统的吞吐率,存储空间效率等基本可以满足需求,并提出了部分可能的改进方案。
【关键词】：视频监控 分布式存储 纠删码 磁盘I/O
【学位授予单位】：电子科技大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP333
【目录】：

• 摘要5-6
• ABSTRACT6-11
• 第一章 引言11-16
• 1.1 选题背景和研究意义11-12
• 1.2 国内外研究现状和发展态势12-14
• 1.3 工作内容及特色14-15
• 1.4 各章内容介绍15-16
• 第二章 理论基础与相关技术16-26
• 2.1 纠删码16-21
• 2.1.1 纠删码技术概述16
• 2.1.2 纠删码原理16-18
• 2.1.3 Reed-Solomon编码18-19
• 2.1.4 Cauchy RS编码19-21
• 2.2 分布式存储系统21-25
• 2.2.1 分布式存储系统概述21
• 2.2.2 元数据管理模型21-22
• 2.2.3 数据可靠性22-25
• 2.3 本章小结25-26
• 第三章 系统总体设计26-38
• 3.1 系统功能及需求26-27
• 3.2 系统架构及功能模块27
• 3.3 数据容错方案27-30
• 3.3.1 分组存储策略28-29
• 3.3.2 数据读取和恢复29-30
• 3.4 系统典型功能流程30-33
• 3.4.1 初始化流程30-31
• 3.4.2 数据存储流程31
• 3.4.3 数据读取流程31-32
• 3.4.4 数据恢复流程32-33
• 3.5 系统关键技术33-37
• 3.5.1 调度策略33-34
• 3.5.2 内存多副本技术34-35
• 3.5.3 双机热备技术35-37
• 3.6 本章小结37-38
• 第四章 数据存储服务器的设计38-56
• 4.1 数据存储服务器概述38
• 4.2 视频流数据存储模型38-40
• 4.3 并发视频流调制40-41
• 4.4 数据写入调度策略41-42
• 4.5 缓冲区管理42-43
• 4.6 纠删码策略43-44
• 4.7 元数据管理44-47
• 4.7.1 元数据组织形式44-46
• 4.7.2 元数据的持久化46
• 4.7.3 元数据周期管理46-47
• 4.8 网络通信框架设计47-50
• 4.8.1 通信报文格式47-48
• 4.8.2 网络通信组件设计48-50
• 4.9 DS框架设计50-53
• 4.10 交互协议设计53-54
• 4.10.1 DS与MS交互协议53-54
• 4.10.2 DS与DS交互协议54
• 4.10.3 DS与客户端交互协议54
• 4.11 本章小结54-56
• 第五章 数据存储服务器的实现56-71
• 5.1 网络通信组件的实现56-58
• 5.2 线程池组件的实现58-61
• 5.3 DS主要功能模块的实现61-67
• 5.3.1 缓冲区管理模块的实现61-62
• 5.3.2 纠删码模块的实现62-63
• 5.3.3 元数据管理模块的实现63-64
• 5.3.4 MS业务模块的实现64-66
• 5.3.5 DS业务模块的实现66-67
• 5.4 DS关键流程67-70
• 5.4.1 DS初始化流程67
• 5.4.2 接收存储任务流程67-68
• 5.4.3 数据编码流程68-69
• 5.4.4 数据存储流程69-70
• 5.5 本章小结70-71
• 第六章 系统测试与结果分析71-78
• 6.1 测试环境71-72
• 6.2 功能测试72-74
• 6.2.1 数据写入功能测试72-73
• 6.2.2 数据恢复功能测试73-74
• 6.3 性能测试74-77
• 6.3.1 单分区性能测试74-75
• 6.3.2 系统整体性能测试75-77
• 6.4 本章小结77-78
• 第七章 总结与展望78-80
• 致谢80-81
• 参考文献81-83
• 硕士期间科研成果83-84

【参考文献】

中国期刊全文数据库 前4条

1 张庆华;;云存储技术在视频监控中的发展与应用[J];中国安防;2014年05期

2 吴映霞;;高清网络摄像机的发展应用与技术趋势[J];中国安防;2013年07期

3 罗象宏;舒继武;;存储系统中的纠删码研究综述[J];计算机研究与发展;2012年01期

4 段翰聪,卢显良,宋杰;基于EPOLL的单进程事件驱动通信服务器设计与分析[J];计算机应用;2004年10期

中国博士学位论文全文数据库 前1条

1 朱云锋;分布式存储系统中基于纠删码的容错技术研究[D];中国科学技术大学;2014年

中国硕士学位论文全文数据库 前2条

1 郭晖;面向高清视频监控的流存储系统设计与实现[D];电子科技大学;2015年

2 唐海浪;分布式存储系统的可靠性研究[D];上海交通大学;2009年

，

本文编号：858284