基于流式计算的大规模监控视频分析关键技术研究

发布时间：2017-04-20 18:16

  本文关键词：基于流式计算的大规模监控视频分析关键技术研究，由笔耕文化传播整理发布。

【摘要】：大规模智能视频分析已经成为视频监控的迫切需求,但是具体实现面临两个问题:首先是智能算法的准确性。准确高效的算法可以减少误报、错误率,真正发挥智能监控的效果;其次是分析平台的构建。在进行大规模视频分析时如何解决所需要的计算能力、IO等问题。本文着眼于后者,通过基于流式的方式探讨如何解决大规模监控视频实时分析面临的计算和IO等问题。我们设计并实现一种基于流式计算的大规模监控视频分析系统。该系统的设计与实现主要关注三个关键的问题:1)避免IO的瓶颈。相比日志文件的小文件,监控视频流的数据量大,因此首要解决如何将大规模的监控流导入到分析平台;2)如何为大规模监控视频分析组织所需要的计算能力。智能视频分析算法都是计算密集型工作,需要消耗大量的计算资源;3)实现计算可扩展性来满足用户对视频分析规模的需求变化,需要探究计算可扩展性。我们的方案是基于SPARK分析平台,融合了流式计算技术、内存计算技术,通过优化SPARK使之适合大规模视频智能分析应用,并开发了一个原型系统验证了我们的想法。概况起来,主要完成的工作如下:第一,在大规模视频流汇聚导入到分析平台时,采用基于计算能力感知的接收器位置分配策略。该策略能够依据计算节点的能力将视频流导入的IO分散在不同的计算节点之上,解决IO分布的问题。第二,在实现视频流数据的实时性处理时,采用基于数据本地性的实时任务调度策略,将改进的实时任务调度算法应用在数据的快速处理上,解决延时调度策略产生的数据等待处理的长延时问题。在数据访问上,基于内存计算技术有效降低IO访问时间,提高大规模视频处理效率,有效转化监控视频流的实时价值。第三,在计算扩展性方面,实现了1)自适应的任务计算。通过基于优先级的丢帧策略来保证系统的稳定运行;2)系统的水平可扩展性。通过动态的添加机器来增加系统的计算能力。初步的研究成果表明基于流式计算的大规模监控视频分析能够使得大型视频联网智能监控系统工作,达到对大规模监控视频进行实时智能分析的效果。
【关键词】：流式计算 内存计算 大规模视频流分析 智能视频分析
【学位授予单位】：上海大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP391.41;TN948.6
【目录】：

• 摘要6-7
• ABSTRACT7-11
• 第一章 绪论11-19
• 1.1 课题研究的目的和意义11-14
• 1.1.1 研究背景11-13
• 1.1.2 研究意义13-14
• 1.2 国内外视频分析研究概况14-17
• 1.3 论文的主要研究内容17-19
• 第二章 相关技术及需求分析19-29
• 2.1 大数据计算平台SPARK19-21
• 2.1.1 流式计算技术19-20
• 2.1.2 内存计算技术20
• 2.1.3 SPARK计算平台20-21
• 2.2 视频分析技术OpenCV21-22
• 2.3 需求分析22-29
• 2.3.1 高清监控流智能分析的计算能力需求22-25
• 2.3.2 大规模监控视频数据汇聚导入问题25-27
• 2.3.3 分析平台的可扩展性需求27-29
• 第三章 系统关键技术研究29-57
• 3.1 大规模监控视频分析的关键技术分析29-31
• 3.2 大规模监控视频流汇聚研究31-42
• 3.2.1 研究目标31-32
• 3.2.2 默认接收器位置分配方式的缺陷32-34
• 3.2.3 基于计算能力感知的接收器位置分配规则34-42
• 3.3 大规模监控视频流分析负载均衡研究42-51
• 3.3.1 研究目标42
• 3.3.2 分布式内存抽象技术42-45
• 3.3.3 基于数据本地性的实时任务调度机制45-51
• 3.4 大规模监控视频分析的可扩展性研究51-57
• 3.4.1 研究目标51-52
• 3.4.2 自适应的任务计算策略52-56
• 3.4.3 动态增加计算性能56-57
• 第四章 实验测试与分析57-70
• 4.1 系统设计57-60
• 4.1.1 总体框架57-59
• 4.1.2 硬件平台59
• 4.1.3 软件堆栈59-60
• 4.2 实验环境60-62
• 4.2.1 硬件环境60
• 4.2.2 软件环境60-62
• 4.3 实验结果与分析62-70
• 4.3.1 基于计算能力感知的接收器位置分配规则评估63-66
• 4.3.2 基于数据块本地性的任务调度评估66-68
• 4.3.3 可扩展性的研究评估68-70
• 第五章 结论与展望70-72
• 5.1 结论70-71
• 5.2 展望71-72
• 参考文献72-75
• 作者在攻读硕士学位期间公开发表的论文75-76
• 作者在攻读硕士学位期间所作的项目76-77
• 致谢77

【参考文献】

中国期刊全文数据库 前2条

1 耿晨曜;姚丹亚;张盈盈;张煦;常刚;;基于Map Reduce的分布式视频处理平台[J];计算机工程;2012年10期

2 孟小峰;慈祥;;大数据管理:概念、技术与挑战[J];计算机研究与发展;2013年01期

中国硕士学位论文全文数据库 前1条

1 顾昕;分布式流式计算框架关键技术的研究与实现[D];北京邮电大学;2012年

  本文关键词：基于流式计算的大规模监控视频分析关键技术研究，，由笔耕文化传播整理发布。

本文编号：319262