基于流形嵌入的双流卷积神经网络视频语义概念分析

发布时间：2022-02-11 16:06

　　随着多媒体技术的发展、智慧城市建设的深入、可携带智能终端设备的推广,视频逐渐成为日常生活中不可或缺的数据载体。视频数量的日益增长,复杂多样的视频内容给视频的检索、分析、存储带来巨大的压力。这般海量,庞杂多样的视频数据推动了人们从数据语义层面分析数据,并建立视频数据语义概念标签,从而实现快速有效的视频检索和管理方法。因此,研究如何有效地提取视频特征并实现视频语义概念分析检测成为视频监管和检索领域的热点问题。在查阅了大量国内外相关论文后,本文首先介绍了视频语义概念分析的研究背景、意义以及国内外研究现状;其次,简述了几种基于深度学习方法的视频语义概念分析模型和典型应用;最后,本文分析现有研究中存在的不足之处提出流形嵌入卷积神经网络模型、基于流形嵌入和光流注意力双流卷积神经网络（Two-stream CNN）视频语义概念分析模型,为验证所提模型的可用性,设计开发了视频语义概念检测原型系统。本文的主要研究工作如下:（1）提出了基于流形嵌入卷积神经网络图像特征学习方法。传统的图像、视频特征学习在构建卷积神经网络模型过程中缺乏对图像近邻关系与关联特征的学习,并且卷积神经网络训练过程中存在内部协变量位... 

【文章来源】：江苏大学江苏省

【文章页数】：81 页

【学位级别】：硕士

【部分图文】：

前馈神经网络多层前馈神经网络在训练时通常使用反向传播算法，反向传播

基于流形嵌入的双流卷积神经网络视频语义概念分析10前向传播输入；（3）反向传播误差，误差反向传播的过程即模型参数调整的过程，模型参数不断更新直至收敛。基于BP算法的多层前馈神经网络在模式识别、控制工程、信号处理等各个领域有着广泛的应用。2.3卷积神经网络实际上，在各种分类问题中，有很多方法可以用来获得更高的识别能力，其中之一就是卷积神经网络。卷积神经网络是一种在一个或多个层中使用卷积函数的神经网络。它的结构以多层链为特征，并在输入图像上应用连续的卷积核，以从输入图像中提取特征图。其独特的网络结构可以直接处理原始图像信息，避免了对原始图像的前期预处理流程，卷积神经网络的体系结构由两部分组成：特征提取器子系统和分类器子系统。通常，特征提取器子系统由卷积层和池化层组成。卷积层是主要部分，用于提取张量输入数据的全部信息，而池化层用于减小数据的空间大校特征提取器子系统的输出用作卷积神经网络第二部分即分类器子系统的输入。全连接层是分类器子系统，用于将每种数据类型的输入数据进行分类。1998年LeCun等人[31]引入了CNN对手写数字进行分类。他们设计的CNN模型称为LeNet-5，如图2.2所示，具有7个可训练层，其中，三个（C1，C3，C5）卷积层，两个（S2，S4）平均池化层，一个（F6）完全连接层和一个输出层。在池化操作之前，使用Sigmoid函数进行非线性变换。作为卷积神经网络模型中最具代表性的模型之一，它包含了卷积、池化等构建卷积网络所必需的基础结构。图2.2LeNet-5网络模型2.3.1卷积卷积层是卷积神经网络基本结构，它由多个卷积核组合形成，每个卷积核

江苏大学工学硕士学位论文11同输入数据做卷积运算，形成新的特征图。卷积作为卷积神经网络中的基本运算，其运算的本质是加权求和过程，其形式化定义如式(2.1)所示：s(x)f(t)w(xt)dt+=(2.1)其中f表示输入（input），w为卷积核（kernel），函数的输出s为特征映射（featuremap）。根据卷积的连续定义，很容易就能理解卷积的离散定义如式(2.2)所示：()()()tsxftwxt+==(2.2)当我们在处理图像任务时，输入数据通常为二维数组的形式，因此需要一个二维的卷积核函数对该输入图像进行卷积操作，其离散形式如式(2.3)所示：(,)()(,)(,)(,)mnSij=KIij=IimjnKmn(2.3)卷积运算等效于将图像与卷积核作内积，每次图像被卷积核覆盖时，就会形成与卷积核大小相同的区域。该区域中每个位置的两个值，一个来自图像，另一个来自卷积核，计算每个位置的两个值的乘积，并将所有乘积之和作为该区域中心位置的最终结果。假设卷积核是一个NN矩阵，其中N的值通常是奇数，并且随着特征学习的进行，卷积核的值可以连续更新。这样，它可以在训练迭代期间不断增强样本功能，使最终数据更接近正确的输出。图2.3给出了二维卷积运算示意图。图2.3二维卷积示意图卷积神经网络是受生物光学系统机理启发而产生的一种特殊类型的多层神经网络。卷积运算的特点为机器学习系统的改进提供了帮助，分别是：稀疏交

【参考文献】：
期刊论文
[1]伪标签置信选择的半监督集成学习视频语义检测[J]. 尹玉,詹永照,姜震.  计算机应用. 2019(08)
[2]面向大规模图像分类的深度卷积神经网络优化[J]. 白琮,黄玲,陈佳楠,潘翔,陈胜勇.  软件学报. 2018(04)



本文编号：3620569