体育视频大数据处理平台的设计与实现

发布时间：2020-11-20 04:45

　　 随着体育视频数据量的快速增长,如何高效地存储、管理和分析庞大的体育视频数据成为一个亟需解决的难题。通过设计和实现通用的体育视频处理平台,封装在存储和计算过程中涉及的重复的工作并对外提供统一的调用接口,极大地简化用户使用大数据框架处理视频数据的流程,对体育视频处理具有重要意义。为了实现高效文件存储和视频处理,借助目前广泛使用的大数据组件设计并实现一个针对体育视频的大数据处理平台。平台由文件存储系统、视频分布式处理系统和任务调度系统三部分组成。文件存储系统主要包括分布式缓存模块和小文件存储模块,前者基于代理的思想使用Redis搭建分布式缓存子系统,后者利用基于索引的归档文件实现小文件的高效存储和读取。视频分布式处理系统利用Spark实现视频分布式解码以提高视频解码的速度,且对FFmpeg和OpenCV等常用的视频图像处理算法库进行封装以便于Spark直接调用,同时借助足球视频的运动强度检测验证了平台提升视频处理速度的可行性。任务调度系统基于设计的混合粒子群优化算法实现平台的任务调度功能,它能有效提高平台的资源利用率和降低任务完成时间。平台采用主从式的架构,保证了平台的高可用性和扩展性,实验结果表明平台可以实现文件的高效存储并提升视频解码和视频内容分析的速度。下一步研究重点是基于平台开发更多视频应用。
【学位单位】：华中科技大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：G80-05;TP391.41
【文章目录】：
摘要
Abstract
1 绪论
    1.1 研究目的及意义
    1.2 国内外研究现状
    1.3 研究目标及所做的工作
    1.4 论文的组织结构
2 分布式文件存储系统的设计与实现
    2.1 分布式文件存储系统的整体架构
    2.2 分布式缓存
    2.3 小文件存储
    2.4 实验结果与分析
    2.5 本章小结
3 视频分布式处理系统的设计与实现
    3.1 视频分布式处理系统的整体架构
    3.2 视频解码的分布式实现
    3.3 特征提取的分布式实现
    3.4 实验结果与分析
    3.5 本章小结
4 基于混合粒子群优化算法的任务调度
    4.1 粒子群优化算法
    4.2 混合粒子群优化算法
    4.3 HPSO算法的任务调度模型
    4.4 HPSO算法的任务调度实现
    4.5 实验结果与分析
    4.6 本章小结
5 总结与展望
    5.1 全文总结
    5.2 存在的问题
    5.3 研究展望
致谢
参考文献

【相似文献】

相关期刊论文 前10条

1 李子乾;朱青;穆松鹤;张月;;云计算的智能电网大数据处理平台[J];粘接;2019年11期

2 李为波;;基于大数据的综合数据处理平台方案设计研究[J];数字技术与应用;2017年01期

3 吴永飞;;基于分布式的多活数据处理平台探索[J];金融电子化;2016年12期

4 林华兵;;数据处理平台高可靠性的设计与实现[J];中国金融电脑;2010年11期

5 陈旭洋;;建立县级综合数据处理平台的一些想法[J];浙江统计;2006年08期

6 胡瑶 ,段鹏瑞 ,高文昌;网络优化的数据处理平台[J];中国无线电;2004年11期

7 周芸韬;;基于R语言的大数据处理平台的设计与实现[J];现代电子技术;2017年02期

8 董红娟;张建龙;栾春雪;石月;;基于陆态网络数据处理平台的精密单点定位分析[J];煤炭技术;2016年03期

9 吕益民;宫夏屹;聂春华;;公安大数据处理平台的探索[J];广东公安科技;2014年03期

10 张涛;李建;康永佳;;多任务高并发数据处理平台的技术研究[J];网络安全技术与应用;2010年03期

相关博士学位论文 前3条

1 李宇昕;全脑光学显微成像大数据处理平台的初步构建和应用[D];华中科技大学;2018年

2 陆宏亮;赛博—物理空间中数据分布式聚合与大规模处理关键技术研究[D];国防科学技术大学;2016年

3 林文辉;基于Hadoop的海量网络数据处理平台的关键技术研究[D];北京邮电大学;2014年

相关硕士学位论文 前10条

1 吴永峰;基于容器云的流数据处理平台服务的研究与实现[D];上海交通大学;2017年

2 蔡恒友;体育视频大数据处理平台的设计与实现[D];华中科技大学;2019年

3 戴云扬;海量销售数据处理平台的设计与实现[D];上海交通大学;2016年

4 钱石磊;分布式流数据处理平台基准评测与性能优化[D];上海交通大学;2017年

5 徐玉景;基于Kafka的全链路流数据处理平台的设计与实现[D];山东大学;2018年

6 黄伟;云环境下大数据处理平台性能分析与优化研究[D];杭州电子科技大学;2018年

7 李艳骄;正蓝旗环保局监测数据处理平台的设计与实现[D];大连理工大学;2018年

8 孙启慧;大数据处理平台的存储优化技术研究[D];云南大学;2017年

9 张雪姣;面向电动汽车的高并发数据处理平台的设计与实现[D];电子科技大学;2018年

10 荣彬杰;基于双核PowerPC的雷达信号数据处理平台设计[D];电子科技大学;2018年

本文编号：2890970