分布式视频流存储容错系统的设计与实现
发布时间：2021-03-21 19:34
当今,视频监控系统越来越多地应用于日常生活中,它带来便捷的同时,也引出了海量视频流数据的存储需求。分布式存储系统能够很好的满足这一需求,而且由于故障发生的可能性,容错必须体现在系统的设计中。对比国内外典型的分布式存储系统架构,不难发现系统可用性、数据可靠性与一致性、系统高效性,往往是此类系统所要解决的问题。因此,本文以此为背景,通过相关知识点与理论的学习,设计并开发出了分布式视频流存储容错系统,其特点主要有:1.应用RS纠删码;系统在整个存储空间扁平化的基础上,提出了数据块与卷的语义,将流式存储转换为块式存储,并通过具体的纠删码方案决定数据块的放置方式,从而使得数据的纠删码容错得以实现。2.提出混合冗余容错策略;系统将被频繁访问的元数据视为“热”数据,采用副本形式存储;将视频流数据视为“冷”数据,采用纠删码方式存储。从而在加速元数据访问的同时,提高了存储空间的利用率。3.采用时间戳对比机制;不仅保证了系统各个模块间数据操作的一致性,由于对访问数据量与次数的减少,因而避免了单点效应。4.实行基于最终一致性的操作方案;系统将多步骤指令视为事务,以非阻塞式方式执行指令队列,使得系统可用性与一...
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：92 页
【学位级别】：硕士
【部分图文】：
RS编码过程
图 2-3 RS 解码过程其中生成矩阵的构造要求是，必须保证任意未出错信息所对应的残余生成都可以在 GF 域上可逆，通常采用范德蒙矩阵和柯西矩阵来进行求解。2.3.3 阵列码阵列码就是在一个二维或者多维的阵列中存储原始数据和冗余，与 RS 编码，它完全基于异或运算，因此，它便于实现，编码与解码过程也会比较简单。条块中数据与冗余是否独立而分为横式阵列码和纵式阵列码。阵列纠删码只于 RAID 技术中，它的存储效率、编译码复杂度以及更新复杂度就会达到最优不能满足多点纠错的需求；同时，阵列码的可靠性几乎不可配置，冗余数据块为 2~3 块。2.3.4 低密度奇偶校验（LDPC）类LDPC 类纠删码也是完全基于异或运算的编码，它虽然不是 MDS 编码，但
图 6-2API 单路流写入结果图由上图可以看出视频流写入速度大约为 800KB/s，一段时间后 API 收到应层整合的数据块，并将数据块进行分片发出，且 API 将数据块进行切片后发送去的速度大约为 5360KB/s。API 发送数据的速度之所以没有跑满网卡是受到 Ep事件处理机制的影响。通过日志文件，查看 API 进行数据编码的情况，部分结果如图 6-3 所示：图 6-3API 单路流编码结果图由上图可以看出 API 进行一次数据编码所用时间大概为 98ms，大概每隔 5就会进行一次数据编码，该值1T 的理论计算方式为：
【参考文献】：
期刊论文
[1]大数据存储中的容错关键技术综述[J]. 宫婧,王文君. 南京邮电大学学报(自然科学版). 2014(04)
[2]面向大数据分析的分布式文件系统关键技术[J]. 周江,王伟平,孟丹,马灿,古晓艳,蒋杰. 计算机研究与发展. 2014(02)
[3]分布系统设计的CAP理论[J]. 陈明. 计算机教育. 2013(15)
[4]MooseFS中chunkserver负载均衡算法研究[J]. 艾云霄,谭跃生,王静宇. 微型机与应用. 2013(05)
[5]分布式存储系统中数据副本管理机制[J]. 徐小龙,邹勤文,杨庚. 计算机技术与发展. 2013(02)
[6]纠删码在分布式容错存储中的应用[J]. 许东旭. 计算机光盘软件与应用. 2013(03)
[7]基于纠删码和动态副本策略的HDFS改进系统[J]. 李晓恺,代翔,李文杰,崔喆. 计算机应用. 2012(08)
[8]高可用的HDFS架构剖析[J]. 代志远. 程序员. 2012 (07)
[9]网络视频监控系统的发展与应用[J]. 李晓飞. 数据通信. 2010(02)
[10]分布式存储方案的设计与研究[J]. 胡文波,徐造林. 计算机技术与发展. 2010(04)
博士论文
[1]分布式系统中容错机制性能优化技术研究[D]. 李磊.国防科学技术大学 2007
[2]大规模分布式存储技术研究[D]. 魏青松.电子科技大学 2004
硕士论文
[1]Ceph存储系统纠删码覆盖写的设计与实现[D]. 瞿天善.南京大学 2016
[2]基于NoSQL的大数据处理的研究[D]. 李青.西安电子科技大学 2014
[3]分布式系统后向恢复容错技术研究[D]. 刘翠英.山东大学 2011
[4]分布式连续数据保护方案[D]. 陈金莲.中国地质大学（北京） 2008
本文编号：3093429
【文章来源】：电子科技大学四川省 211工程院校 985工程院校 教育部直属院校
【文章页数】：92 页
【学位级别】：硕士
【部分图文】：
RS编码过程
图 2-3 RS 解码过程其中生成矩阵的构造要求是，必须保证任意未出错信息所对应的残余生成都可以在 GF 域上可逆，通常采用范德蒙矩阵和柯西矩阵来进行求解。2.3.3 阵列码阵列码就是在一个二维或者多维的阵列中存储原始数据和冗余，与 RS 编码，它完全基于异或运算，因此，它便于实现，编码与解码过程也会比较简单。条块中数据与冗余是否独立而分为横式阵列码和纵式阵列码。阵列纠删码只于 RAID 技术中，它的存储效率、编译码复杂度以及更新复杂度就会达到最优不能满足多点纠错的需求；同时，阵列码的可靠性几乎不可配置，冗余数据块为 2~3 块。2.3.4 低密度奇偶校验（LDPC）类LDPC 类纠删码也是完全基于异或运算的编码，它虽然不是 MDS 编码，但
图 6-2API 单路流写入结果图由上图可以看出视频流写入速度大约为 800KB/s，一段时间后 API 收到应层整合的数据块，并将数据块进行分片发出，且 API 将数据块进行切片后发送去的速度大约为 5360KB/s。API 发送数据的速度之所以没有跑满网卡是受到 Ep事件处理机制的影响。通过日志文件，查看 API 进行数据编码的情况，部分结果如图 6-3 所示：图 6-3API 单路流编码结果图由上图可以看出 API 进行一次数据编码所用时间大概为 98ms，大概每隔 5就会进行一次数据编码，该值1T 的理论计算方式为：
【参考文献】：
期刊论文
[1]大数据存储中的容错关键技术综述[J]. 宫婧,王文君. 南京邮电大学学报(自然科学版). 2014(04)
[2]面向大数据分析的分布式文件系统关键技术[J]. 周江,王伟平,孟丹,马灿,古晓艳,蒋杰. 计算机研究与发展. 2014(02)
[3]分布系统设计的CAP理论[J]. 陈明. 计算机教育. 2013(15)
[4]MooseFS中chunkserver负载均衡算法研究[J]. 艾云霄,谭跃生,王静宇. 微型机与应用. 2013(05)
[5]分布式存储系统中数据副本管理机制[J]. 徐小龙,邹勤文,杨庚. 计算机技术与发展. 2013(02)
[6]纠删码在分布式容错存储中的应用[J]. 许东旭. 计算机光盘软件与应用. 2013(03)
[7]基于纠删码和动态副本策略的HDFS改进系统[J]. 李晓恺,代翔,李文杰,崔喆. 计算机应用. 2012(08)
[8]高可用的HDFS架构剖析[J]. 代志远. 程序员. 2012 (07)
[9]网络视频监控系统的发展与应用[J]. 李晓飞. 数据通信. 2010(02)
[10]分布式存储方案的设计与研究[J]. 胡文波,徐造林. 计算机技术与发展. 2010(04)
博士论文
[1]分布式系统中容错机制性能优化技术研究[D]. 李磊.国防科学技术大学 2007
[2]大规模分布式存储技术研究[D]. 魏青松.电子科技大学 2004
硕士论文
[1]Ceph存储系统纠删码覆盖写的设计与实现[D]. 瞿天善.南京大学 2016
[2]基于NoSQL的大数据处理的研究[D]. 李青.西安电子科技大学 2014
[3]分布式系统后向恢复容错技术研究[D]. 刘翠英.山东大学 2011
[4]分布式连续数据保护方案[D]. 陈金莲.中国地质大学（北京） 2008
本文编号：3093429
本文链接：https://www.wllwen.com/kejilunwen/jisuanjikexuelunwen/3093429.html
