基于多模态融合的足球视频精彩事件检测

发布时间：2022-12-04 00:59

　　足球作为全球最受欢迎的一项体育运动,其比赛视频有着广泛的收视群体。然而,由于足球比赛的持续时间较长,人们感兴趣的内容却各不相同。有人喜欢观看射门、点球等镜头,有人喜欢观看中场配合的部分。面对海量的视频数据,如果依靠传统人工剪辑的方式对视频进行集锦制作,不仅对人力资源是极大的浪费,而且也无法保证集锦生成的及时性。因此,本文将足球视频的精彩事件检测作为研究课题。本文的主要研究工作集中在三个方面:一是足球视频的镜头标注;二是基于单模态的足球视频精彩事件检测;三是基于多模态融合的足球视频精彩事件检测。首先,对足球视频的结构进行分析,本文选择将镜头作为基本单元,进行特征的提取与分析。对于镜头分割,通过对足球视频的镜头切换特点进行分析后,采用Twin Comparison算法对足球视频的镜头进行切换检测,以实现镜头分割。接着,需要对一个个独立的镜头单元赋予语义,本文将镜头分为进球镜头、角球镜头、点球镜头及犯规镜头4类进行标注,根据足球比赛精彩事件发生时场地的特点,融合人工规则对镜头进行标注,降低了人工标注的时间成本和精力。其次,由于足球比赛精彩事件的发生,镜头总会以一些特定的序列进行呈现,传统的C... 

【文章页数】：66 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第一章 绪论
    1.1 研究背景与意义
    1.2 国内外现状研究
    1.3 主要研究内容
    1.4 章节安排
第二章 视频事件识别相关技术
    2.1 视频结构分析
        2.1.1 低层特征分析
        2.1.2 中层特征分析
        2.1.3 高层特征分析
    2.2 基于图像特征的视频识别技术
        2.2.1 场景切换检测
        2.2.2 镜头代表帧
        2.2.3 语义事件识别
    2.3 基于音频特征视频识别技术
        2.3.1 音频特征
        2.3.2 音频识别
    2.4 本章小结
第三章 基于图像特征的足球视频事件识别
    3.1 镜头分割
    3.2 关键帧提取
    3.3 物理镜头标注
        3.3.1 回放镜头检测
        3.3.2 进球镜头标注
        3.3.3 角球与点球镜头标注
        3.3.4 犯规镜头标注
    3.4 模型设计
        3.4.1 网络结构
        3.4.2 数据预处理
        3.4.3 特征提取
        3.4.4 分类识别
    3.5 本章小结
第四章 基于音频特征的足球视频事件识别
    4.1 音频信号提取
    4.2 音频信号预处理
        4.2.1 预加重
        4.2.2 分帧
        4.2.3 加窗
    4.3 特征提取及语谱图生成
        4.3.1 梅尔倒谱系数
        4.3.2 语谱图生成
    4.4 模型设计
        4.4.1 CNN网络
        4.4.2 网络设计
    4.5 本章小结
第五章 基于多模态融合视频事件识别
    5.1 多模态融合分析
    5.2 多模态特征融合方式比较
        5.2.1 特征层融合
        5.2.2 模型层融合
        5.2.3 决策层融合
    5.3 基于改进的D-S理论的决策层融合
        5.3.1 经典D-S证据理论
        5.3.2 改进的D-S证据理论
    5.4 本章小结
第六章 实验结果与分析
    6.1 实验平台
    6.2 数据集
        6.2.1 图像数据集
        6.2.2 音频数据集
    6.3 模型训练
        6.3.1 损失函数
        6.3.2 激活函数
        6.3.3 优化算法
        6.3.4 基于图像特征的识别实验
        6.3.5 基于音频特征的识别实验
    6.4 实验结果与分析
        6.4.1 基于图像特征的识别结果
        6.4.2 基于音频特征的识别结果
        6.4.3 基于多模态融合的识别结果
    6.5 本章小结
第七章 总结与展望
    7.1 总结
    7.2 展望
参考文献
攻读学位期间的研究成果
致谢


【参考文献】：
期刊论文
[1]基于足球比赛事件检测的视频分析方法[J]. 刘阳,罗安平.  沈阳工业大学学报. 2018(04)
[2]基于双阈值灰度直方图的场景切换检测算法及实现[J]. 陆思烨,李鸿燕,孙健昊,宋泽,曹宇.  上海工程技术大学学报. 2018(01)
[3]适配分辨率动态变化的低复杂度视频场景切换检测方法[J]. 方宏俊,宋利,杨小康.  计算机科学. 2017(02)
[4]基于在线Bayesian决策的动画场景切换检测方法[J]. 孙桃,谢振平,梅向东,李宁东.  计算机工程与应用. 2016(22)
[5]基于脑电的情绪识别研究综述[J]. 聂聃,王晓韡,段若男,吕宝粮.  中国生物医学工程学报. 2012(04)
[6]基于KNN模型的增量学习算法[J]. 郭躬德,黄杰,陈黎飞.  模式识别与人工智能. 2010(05)
[7]基于多模态融合的足球视频语义分析[J]. 张玉珍,魏带娣,王建宇,戴跃伟.  计算机科学. 2010(07)
[8]基于视觉注意模型的自适应视频关键帧提取[J]. 蒋鹏,秦小麟.  中国图象图形学报. 2009(08)
[9]基于运动序列分割的运动捕获数据关键帧提取[J]. 朱登明,王兆其.  计算机辅助设计与图形学学报. 2008(06)
[10]基于条件随机场（CRFs）的中文词性标注方法[J]. 洪铭材,张阔,唐杰,李涓子.  计算机科学. 2006(10)

硕士论文
[1]基于深度学习的音频场景识别研究[D]. 张溯.东北石油大学 2018
[2]基于深度学习的音频场景识别方法研究[D]. 李琪.西安电子科技大学 2018
[3]基于TensorFlow的足球视频事件检测[D]. 冯娜.华中科技大学 2018
[4]基于深度神经网络和贝叶斯网络的电力设备故障诊断方法研究[D]. 雷倩.华北电力大学 2018
[5]足球视频精彩事件检测算法研究[D]. 赵伟.北京理工大学 2016
[6]基于HCRF模型的足球视频精彩事件检测方法研究[D]. 丁力伟.西安电子科技大学 2014
[7]足球视频精彩进球事件检测[D]. 谢文娟.西安电子科技大学 2012



本文编号：3707308