融合文本和短视频的双模态情感分析
发布时间：2021-08-11 09:55
随着5G商用的加速落地,微博、抖音等应用迅猛发展,网络上产生了大量的由用户生成的带有文本内容的短视频。通过分析这些文本内容和短视频,可以了解广大用户对社会事件、人物、产品的看法以及舆论演化趋势,因此,多模态的情感分析已成为当前一个非常热门的研究课题。然而,从网络直接获取的数据过于冗余和繁杂,不能直接应用在实际研究中,在实际研究当中可用的数据集还是比较缺乏的,并且文本和视频内容是独立存在,在进行情感分析的研究时不能对视频和本文有效地融合。针对上述问题,本文提出了如下工作:（1）针对短视频情感分析数据样本数量缺乏的问题,提出一种基于小样本学习的短视频情感分析方法。首先将数据集分为支撑集和查询集;然后分别对数据集进行视觉特征提取;再将支撑集样本提取的特征和查询集样本提取的特征进行拼接后通过度量模块计算查询集样本和支撑集样本之间的相似性;最后利用分类器预测查询集样本的类别。（2）针对数据集中存在多种模态的问题,提出一种文本、短视频的情感分析方法。在文本模态上,首先使用分词工具对文本模态数据进行预处理,然后使用词嵌入工具获得文字对应的词向量,将得到的词向量利用注意力机制的LSTM网络提取文本信息...
【文章来源】：南京邮电大学江苏省
【文章页数】：70 页
【学位级别】：硕士
【部分图文】：
文本情感分类框架
砘?窬??缪苌?龅耐?纭?普通的2D卷积神经网络只能提取单帧静态图像的静态特征，而对于视频特征的提取，3D卷积神经网络具有更好的检测效果，3D卷积神经网络与应用于图像识别领域的传统2D卷积神经网络不同的是它不仅可以提取视频中的空间维信息，而且还能够提取时间维上的信息。如图2.3所示，当使用2D卷积对图像进行处理时，其输入无论是图2.3（a）中的单张图像还是图2.4（b）中的多张图像，输出都是一张特征图；但是通过3D卷积运算后的输出为图2.4（c）所示的三维特征图，这就保存了输入短视频中帧与帧之间的时间维信息。图2.32D卷积与3D卷积运算基于3D卷积特征提取器通过构造一个3D卷积神经网络，通过将选取的固定数量的关键帧图像与3D卷积核进行卷积，最终的特征表示如公式（2.5）表示，则第i层的第j个特征图位置（x,y,z）处的信息xyzijv:)tanh(101010))()(()1(mPpQqRrijrzqypxmipqrijmxyzijiiib（2.5）其中，ijb为第i层第j个特征图的偏置量，m表示在第i1层中与第i层第j张特征图相连的特征图数量，pqrijm表示卷积核连接前一层的第m张特征图上坐标点为（,,rqp）相关联的卷积核的值，iii,,RQP分别表示卷积核在空间以及时间维度上卷积核尺寸的大校同时，3D卷积在同一层是共享卷积核的权值。VGG-16网络通过大量的实验验证，卷积核在选取33的尺寸时能够取得最好的识别效果，借鉴VGG-16网络，所以在3D卷积操作中一般也采用大小为333的3D卷积核用于实验。C3D卷积神经网络的结构图如图2.4所示，该网络具有
砘?窬??缪苌?龅耐?纭?普通的2D卷积神经网络只能提取单帧静态图像的静态特征，而对于视频特征的提取，3D卷积神经网络具有更好的检测效果，3D卷积神经网络与应用于图像识别领域的传统2D卷积神经网络不同的是它不仅可以提取视频中的空间维信息，而且还能够提取时间维上的信息。如图2.3所示，当使用2D卷积对图像进行处理时，其输入无论是图2.3（a）中的单张图像还是图2.4（b）中的多张图像，输出都是一张特征图；但是通过3D卷积运算后的输出为图2.4（c）所示的三维特征图，这就保存了输入短视频中帧与帧之间的时间维信息。图2.32D卷积与3D卷积运算基于3D卷积特征提取器通过构造一个3D卷积神经网络，通过将选取的固定数量的关键帧图像与3D卷积核进行卷积，最终的特征表示如公式（2.5）表示，则第i层的第j个特征图位置（x,y,z）处的信息xyzijv:)tanh(101010))()(()1(mPpQqRrijrzqypxmipqrijmxyzijiiib（2.5）其中，ijb为第i层第j个特征图的偏置量，m表示在第i1层中与第i层第j张特征图相连的特征图数量，pqrijm表示卷积核连接前一层的第m张特征图上坐标点为（,,rqp）相关联的卷积核的值，iii,,RQP分别表示卷积核在空间以及时间维度上卷积核尺寸的大校同时，3D卷积在同一层是共享卷积核的权值。VGG-16网络通过大量的实验验证，卷积核在选取33的尺寸时能够取得最好的识别效果，借鉴VGG-16网络，所以在3D卷积操作中一般也采用大小为333的3D卷积核用于实验。C3D卷积神经网络的结构图如图2.4所示，该网络具有
【参考文献】：
期刊论文
[1]人工智能在计算机网络技术中的应用[J]. 陈琨天. 电子技术与软件工程. 2019(24)
[2]视频关键帧提取方法分类研究[J]. 文辉,林华. 兰州工业学院学报. 2017(03)
[3]单词嵌入——自然语言的连续空间表示[J]. 陈恩红,邱思语,许畅,田飞,刘铁岩. 数据采集与处理. 2014(01)
[4]基于汉语情感词表的句子情感倾向分类研究[J]. 王素格,杨安娜,李德玉. 计算机工程与应用. 2009(24)
[5]情感计算研究进展与展望——本期主题专栏“情感计算进展”序[J]. 陶霖密. 中国图象图形学报. 2009(05)
[6]情感可以计算——情感计算综述[J]. 张迎辉,林学誾. 计算机科学. 2008(05)
[7]基于投票机制的融合聚类算法[J]. 蒋盛益. 小型微型计算机系统. 2007(02)
[8]基于HowNet的词汇语义倾向计算[J]. 朱嫣岚,闵锦,周雅倩,黄萱菁,吴立德. 中文信息学报. 2006(01)
硕士论文
[1]融合视觉和文本的短标注视频情感分析研究[D]. 万俊伟.南京邮电大学 2019
[2]基于元学习的少样本图像分类方法研究[D]. 田霞.电子科技大学 2019
[3]基于图像分析的网络视频弹幕的情感分类研究与应用[D]. 王晓艳.北京邮电大学 2018
[4]数据层和决策层的信息融合算法研究及应用[D]. 梁彩云.吉林大学 2007
本文编号：3335951
【文章来源】：南京邮电大学江苏省
【文章页数】：70 页
【学位级别】：硕士
【部分图文】：
文本情感分类框架
砘?窬??缪苌?龅耐?纭?普通的2D卷积神经网络只能提取单帧静态图像的静态特征，而对于视频特征的提取，3D卷积神经网络具有更好的检测效果，3D卷积神经网络与应用于图像识别领域的传统2D卷积神经网络不同的是它不仅可以提取视频中的空间维信息，而且还能够提取时间维上的信息。如图2.3所示，当使用2D卷积对图像进行处理时，其输入无论是图2.3（a）中的单张图像还是图2.4（b）中的多张图像，输出都是一张特征图；但是通过3D卷积运算后的输出为图2.4（c）所示的三维特征图，这就保存了输入短视频中帧与帧之间的时间维信息。图2.32D卷积与3D卷积运算基于3D卷积特征提取器通过构造一个3D卷积神经网络，通过将选取的固定数量的关键帧图像与3D卷积核进行卷积，最终的特征表示如公式（2.5）表示，则第i层的第j个特征图位置（x,y,z）处的信息xyzijv:)tanh(101010))()(()1(mPpQqRrijrzqypxmipqrijmxyzijiiib（2.5）其中，ijb为第i层第j个特征图的偏置量，m表示在第i1层中与第i层第j张特征图相连的特征图数量，pqrijm表示卷积核连接前一层的第m张特征图上坐标点为（,,rqp）相关联的卷积核的值，iii,,RQP分别表示卷积核在空间以及时间维度上卷积核尺寸的大校同时，3D卷积在同一层是共享卷积核的权值。VGG-16网络通过大量的实验验证，卷积核在选取33的尺寸时能够取得最好的识别效果，借鉴VGG-16网络，所以在3D卷积操作中一般也采用大小为333的3D卷积核用于实验。C3D卷积神经网络的结构图如图2.4所示，该网络具有
砘?窬??缪苌?龅耐?纭?普通的2D卷积神经网络只能提取单帧静态图像的静态特征，而对于视频特征的提取，3D卷积神经网络具有更好的检测效果，3D卷积神经网络与应用于图像识别领域的传统2D卷积神经网络不同的是它不仅可以提取视频中的空间维信息，而且还能够提取时间维上的信息。如图2.3所示，当使用2D卷积对图像进行处理时，其输入无论是图2.3（a）中的单张图像还是图2.4（b）中的多张图像，输出都是一张特征图；但是通过3D卷积运算后的输出为图2.4（c）所示的三维特征图，这就保存了输入短视频中帧与帧之间的时间维信息。图2.32D卷积与3D卷积运算基于3D卷积特征提取器通过构造一个3D卷积神经网络，通过将选取的固定数量的关键帧图像与3D卷积核进行卷积，最终的特征表示如公式（2.5）表示，则第i层的第j个特征图位置（x,y,z）处的信息xyzijv:)tanh(101010))()(()1(mPpQqRrijrzqypxmipqrijmxyzijiiib（2.5）其中，ijb为第i层第j个特征图的偏置量，m表示在第i1层中与第i层第j张特征图相连的特征图数量，pqrijm表示卷积核连接前一层的第m张特征图上坐标点为（,,rqp）相关联的卷积核的值，iii,,RQP分别表示卷积核在空间以及时间维度上卷积核尺寸的大校同时，3D卷积在同一层是共享卷积核的权值。VGG-16网络通过大量的实验验证，卷积核在选取33的尺寸时能够取得最好的识别效果，借鉴VGG-16网络，所以在3D卷积操作中一般也采用大小为333的3D卷积核用于实验。C3D卷积神经网络的结构图如图2.4所示，该网络具有
【参考文献】：
期刊论文
[1]人工智能在计算机网络技术中的应用[J]. 陈琨天. 电子技术与软件工程. 2019(24)
[2]视频关键帧提取方法分类研究[J]. 文辉,林华. 兰州工业学院学报. 2017(03)
[3]单词嵌入——自然语言的连续空间表示[J]. 陈恩红,邱思语,许畅,田飞,刘铁岩. 数据采集与处理. 2014(01)
[4]基于汉语情感词表的句子情感倾向分类研究[J]. 王素格,杨安娜,李德玉. 计算机工程与应用. 2009(24)
[5]情感计算研究进展与展望——本期主题专栏“情感计算进展”序[J]. 陶霖密. 中国图象图形学报. 2009(05)
[6]情感可以计算——情感计算综述[J]. 张迎辉,林学誾. 计算机科学. 2008(05)
[7]基于投票机制的融合聚类算法[J]. 蒋盛益. 小型微型计算机系统. 2007(02)
[8]基于HowNet的词汇语义倾向计算[J]. 朱嫣岚,闵锦,周雅倩,黄萱菁,吴立德. 中文信息学报. 2006(01)
硕士论文
[1]融合视觉和文本的短标注视频情感分析研究[D]. 万俊伟.南京邮电大学 2019
[2]基于元学习的少样本图像分类方法研究[D]. 田霞.电子科技大学 2019
[3]基于图像分析的网络视频弹幕的情感分类研究与应用[D]. 王晓艳.北京邮电大学 2018
[4]数据层和决策层的信息融合算法研究及应用[D]. 梁彩云.吉林大学 2007
本文编号：3335951
本文链接：https://www.wllwen.com/kejilunwen/shengwushengchang/3335951.html
最近更新
教材专著
