社交网络多模态语义空间学习与国民安全突发事件检测研究

发布时间：2020-08-12 16:14

【摘要】：社交网络是近几年来兴起的基于用户关系的信息创造与传播平台。随着移动互联网的蓬勃发展,社交网络逐渐成为人们生活中不可或缺的一部分。用户在微博等社交网络平台发表文本内容的同时,通常会借助图像来对事件进行补充描述。因此,对社交网络多模态数据进行深度特征提取,并通过多模态语义空间学习实现多模态数据的信息融合,对于提升主题发现和突发事件检测的效果具有非常重要的意义。本文的主要工作包括以下几个方面:(1)针对社交网络文本数据,提出了基于用户互动行为特征的短文本语义扩展算法(UISSE),并利用深度去噪自编码网络对扩展后的文本数据进行深度特征提取;针对社交网络图像数据,提出了利用空间金字塔池化层对传统卷积神经网络进行改进的方法。实验结果表明,所提出的算法在分类实验中的准确率、召回率和F-measure等指标与对比算法相比均有所提升。(2)提出了社交网络多模态深度量化算法(MDQS)。MDQS算法将文本数据和图像数据的深度特征映射到连续的潜在语义空间中,并进一步映射到离散的哈希语义空间中提高了检索效率。实验结果表明,MDQS算法能够有效地对社交网络数据集进行多模态语义空间的学习,并且在同模态搜索和跨模态搜索实验中的实验结果均优于对比算法。(3)提出了基于社交网络多模态语义空间的话题检测算法(MSSTD)。MSSTD算法对每个时间窗内的社交网络数据分别构造文本图和视觉图,并根据语义相似度和时间误差系数进行多模态图融合,最后通过话题恢复算法得到话题发现和突发事件检测的结果。实验结果表明,MSSTD算法能够有效地根据社交网络跨媒体大数据进行突发事件检测,并且所检测到的话题质量和话题突发度均优于对比算法。(4)设计并实现了社交网络多模态语义空间学习与国民安全突发事件检测系统。系统包含数据采集、深度特征提取、突发事件检测和系统展示四个模块,有效地验证了本文所提出的一系列算法,并且具有一定的实用价值。
【学位授予单位】：北京邮电大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.1
【图文】：

取值,超参数

逡逑图３－８不同超参数（以，０）取值下的Ｆ－ｍｅａｓｕｒｅ值对比逡逑不同（ａ，灼取值下的Ｆ－ｍｅａｓｕｒｅ值如图３－８所示，可以看到（＾，々）取值为逡逑２３逡逑

分类器,文本,算法,扩展型

ｓｏｆｔｍａｘ分类器，并使用测试集验证分类结果。因为四种模型所使用的分类器模逡逑型完全相同，所以分类效果可以代表深度特征提取的效果。四种不同模型所提取逡逑到的文本深度特征在ｓｏｆｔｍａｘ分类器下的实验结果对比如表３－２和图３－９所示。逡逑表３－２不同算法提取的文本深度特征在ｓｏｆｔｍａｘ分类器下的分类效果对比逡逑逦算法名称逦准确率邋召回率邋Ｆ－ｍｅａｓｕｒｅ逡逑词嵌入模型逦０．７５６逦０．８０８逦０．７９７逡逑ＵＩＳＳＥ＋词嵌入模型逦０．８１１逦０．８２１逦０．８１６逡逑深度去噪自编码网络逦０．８４１逦０．７８４逦０．８１１逡逑ＵＩＳＳＥ＋深度去噪自编码网络邋０．８４３逦０．８５６逦０．８４９逡逑ｒ￣ｉ词嵌入模型逡逑，ＭＵＩＳＳＥ＋词嵌入模型逡逑＇逦ｍ深度去噪自编码网络逡逑■逦丨＿邋ＵＩＳＳＥ＋深凌去噪自编码网络逡逑＿逡逑准确率逦召回率逦Ｆ－ｍｅａｓｕｒｅ逡逑评价指标逡逑图３－９不同算法提取的文本深度特征在ｓｏｆｔｍａｘ分类器下的分类效果对比逡逑表３－２和图３－９所展示的分类实验结果对比中可以看出，利用ＵＩＳＳＥ算法进逡逑行短文本语义扩展的文本深度特征提取的模型相比于未进行语义扩展的模型，其逡逑２４逡逑

深度图像,特征分类,深度图像,社交

准确率、召回率和Ｆ－ｍｅａｓｕｒｅ指标值分别提升了邋２．９％、４．３％和３．０％，说Ｅ算法能够有效地解决社交网络短文本数据存在的语义稀疏性、二义性等词嵌入模型与深度去噪自编码网络的分类实验结果对比中可以看出，相嵌入模型，深度去噪自编码网络的分类准确率、召回率和Ｆ－ｍｅａｓｕｒｅ分别２．１％、３．５％和３．３％，说明深度去噪自编码网络更适用于社交网络文本数特征提取。逡逑社交网络图像深度特征提取与表达实验逡逑了验证基于空间金字塔池化层对传统卷积神经网络模型进行改进后，在络图像数据集上的深度特征提取效果，本节选取了邋Ａｌｅｘ－Ｎｅｔ、基于空间金层改进的Ａｌｅｘ－Ｎｅｔ邋（Ａｌｅｘ－Ｎｅｔｗｉｔｈ邋ＳＰＰ）、ＶＧＧ－Ｎｅｔ、基于空间金字塔池的ＶＧＧ－Ｎｅｔ邋（ＶＧＧ－ＮｅｔｗｉｔｈＳＰＰ）四种网络模型进行社交网络图像深度取实验。首先利用社交网络数据集中的分类标签对四种网络模型进行有监，然后使用测试集验证分类效果。四种不同模型的分类实验结果对比如表３图３－１０所示。逡逑表３－３不同算法提取的深度图像特征分类效果对比逡逑

【相似文献】