基于CNN的多模态深度融合特征的社交媒体流行度预测

发布时间：2020-07-11 19:12

【摘要】：随着社交媒体的迅猛发展,社交媒体数据日趋多样化,其中包括视频、图像、文本、时间、地理信息等,从而使得利用多模态数据来预测社交媒体流行度成为现实。传统的社交媒体流行度预测方法需要通过先验知识人工提取特征,难以将特征提取器与回归器相结合,过程复杂且难以适应如今的大数据特征处理。对于越来越多因素影响下的社交媒体流行度预测问题,传统方法的泛化能力不足。在实际的实验中,发现不同模态的数据对社交媒体流行度预测的影响存在较大差异,而且不同模态数据相互组合而成的多模态数据对预测结果的影响并不是线性叠加的。大规模的多模态数据无法充分有效地用来预测社交媒体流行度。另外,社交媒体数据存在的严重的样本不均衡问题也约束了流行度预测。本文以多模态数据特征为基础,主要研究和贡献如下:(1)针对时间和地理等单尺度数据,根据每一类数据的特点,分别采用时间尺变换和地理信息转换的方法将这些数据尽量多地转化为多尺度特征。针对文本数据,采用Doc2vec算法将其转化为语义相关的向量。(2)为了获得更多图像模态特征,本文采用预训练的深度学习模型Inception_v4和Place2-365-CNN分别获得图片的类别特征和场景特征,并采用主色调提取算法获得图片的主色调特征。(3)为了探索和利用多模态数据联合预测社交媒体流行度,本文提出使用深度卷积神经网络叠加全连接层来提取并融合多模态特征,最后用XGB oost来预测流行度。(4)分析本文获得的多模态深度融合特征的有效成分,检验本文提出的CNN-XGBoost算法的有效性,分析CNN结构对预测结果的影响。实验表明,本文提出基于CNN的多模态深度融合特征的社交媒体流行度预测算法有效的提取并融合了多模态特征,其在SMHP数据集是获得较好的性能,其中MSE达到0.9187,MAE达到0.5592,SPR达到0.9175。
【学位授予单位】：广东工业大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：TP391.41;TP18
【图文】：

２．２．４整流线性单元（ＲｅＬＵ）逡逑在深度学习的网络模型的中，整流器被用来做激活函数，它可以被定义为：ｆ（ｘ）邋＝逡逑ｍａｘ邋（０，ｘ），其中ｘ是输入。．在人工神经元中，这也称为斜坡功能．，如图２－３所示。逡逑Ｈａｈｎｌｏｓｅｒ等人在动力网络中首次将他作为激活函数来使用。２０１１年首次证明，与２０１１逡逑年之前广泛使甩的激活函数相比，ＲｅＬＵ的加入，更深层的神经网络得以被有效地训练逡逑［３６］。截至２０１９年＃整流器是深度神经网络最受欢迎的激活函数。采用整流器的单元也逡逑１０逡逑

能够有效地Ｋ分不可线性分离的数据。扁平矩阵穿过完全连接的层以对输入数据进行逡逑分类。逡逑如图２－５所示，全连接层一般包括输出层、隐藏层和输出层ｓ逡逑馨逡逑隐藏层逦输出层逡逑图２－５全连接属逡逑Ｆｉｇ．邋２－５邋Ｆｕｌｌｙ邋ｌｉｎｅａｒ邋ｌａｙｅｒ逡逑２．２．７邋Ｄｒｏｐｏｕｔ逡逑Ｄｒ0ｐ0ｕｔ［ｗ］是最早由谷歌提出，同时￣种有效的芷规化技术。深度神经网络一度饱逡逑受过拟合的困扰，Ｄｒｏｐｏｕｔ的出现，很大程度地减轻了过拟合现象。．该技术实现对训练逡逑数据的复杂的协同适应。在神经网络中，它能特别有效进行模型的平均化。“Ｄｒｏｐｏｕｔ”逡逑顾名思义就是在神经网}a中进行隐藏和显现yL经元，通过这种丢弃神经元的方法实现逡逑防止神经元的过度学习。Ｓ在卷积层神经网络和全卷积层中使用Ｄｒｏｐｏｕｔ方法可以显逡逑著增强网络的健壮性。逡逑２．２．８随机梯度下降优化算法（ＳＧＤ）逡逑随机梯度下降（ＳＧＤ）邋［４１］，通常也叫做增量梯度下降＾在训练过程中，ＳＧＤ随机逡逑筛选样本，从而形成随机的梯度。它只能用来优化可微分的目标函数，通过随机的逼近逡逑目标函数的方式，一定程度上提高了模型的泛化能力。梯度下降优化是一种随机近似，逡逑因此

数据信息的深度特征提取出来，然后放到ＸＧＢｏｏｓｔ进行预测。逡逑３．１整体流程逡逑基于ＣＮＮ的多模态深度融合特征的社交媒体流行度预测的整体流程如图３－１所逡逑示。该方法划分为３部分：数据预处理，深度学习模型提取多模态深度融合特征，流行逡逑度预测，实验结果分析。逡逑■ｐ邋｜！Ｊ］／［１逦＾逦视觉z1正逡逑Ｌ－邋ｉｓ■气１１逦Ｐｒｅ－ｔｒａｉｎ邋ＣＮＮ逡逑逦邋Ｑ＜邋逦逡逑ｃｏｎｃａｔ邋逦＊逦—（？流行度值逡逑ＩＴ］逦￣［ｉＳ态深度sE４逡逑■逦１逦■邋Ｉ邋／逡逑灥＆射￣逦逦＾回归逡逑时间尺度变换邋逦■逦／逦ｆ」逡逑－逦１Ｄ－ＣＮＮ逦ＭＬＰ邋Ｊ逡逑丨文本向量化—逦『逦属性多模态深佊正逡逑１逡逑０＿逡逑图３－１基于ＣＮＮ的多模态深度融合特征的社交媒体流行度预测算法的整体框架图逡逑Ｆｉｇ．邋３－１邋Ｔｈｅ邋ｏｖｅｒａｌｌ邋ａｒｃｈｉｔｅｃｔｕｒｅ邋ｏｆ邋ｓｏｃｉａｌ邋ｍｅｄｉａ邋ｐｏｐｕｌａｒｉｔｙ邋ｐｒｅｄｉｃｔｉｏｎ邋ａｌｇｏｒｉｔｈｍ邋ｂａｓｅｄ邋ｏｎ邋ｄｅｅｐ逡逑ｍｕｌｔｉ－ｍｏｄａｌ邋ｆｕｓｉｏｎ邋ｆｅａｔｕｒｅｓ邋ｏｆ邋ＣＮＮ逡逑首先，本文的实验使用ＳＭＨＰ数据集。由于该数据集包含了社交媒体的多模态＃逡逑息数据，我们先分别筛选出图片、文本、地理信息、时间、统计类数据等５种模态数逡逑据。逡逑然后，我们对ＳＭＨＰ数据集进行预处理，以将除了图片外的数据数值化。首先，逡逑对．“ｃａｔｅｇｏｒｙ”

【相似文献】

相关期刊论文 前10条

1 韩蕾;;中国企业海外社交媒体平台运营策略探索[J];新闻战线;2019年23期

2 林赛赛;;以微博为例探析“后机制”时代社交媒体传播伦理失范问题[J];新媒体研究;2019年21期

3 唐晓波;李诗轩;谭明亮;杨达森;;国内外政务社交媒体研究评述及展望[J];现代情报;2020年01期

4 陆丽雯;;方兴未艾的加拿大档案界社交媒体应用[J];上海档案;2015年11期

5 万凯莉;;社交媒体信息全民参与保存模式研究[J];中国档案研究;2015年00期

6 孙其华;;“社交媒体”时代与“百百千”[J];江苏教育宣传;2012年02期

7 姜珑;;社交媒体时代宣传观念的转变——以江苏教育部门为例[J];江苏教育宣传;2016年01期

8 雷贺羽;;社交媒体联盟的社会化合作[J];上海档案;2017年07期

9 邹真子;;社交媒体对档案信息资源建设的积极影响[J];上海档案;2015年02期

10 梁蓓;黄海君;毛诗怡;;小学生“热参与”短视频社交媒体现象的归因及对策研究——以抖音为例[J];长江丛刊;2019年33期

相关会议论文 前10条

1 刘东;;社交媒体研究的十年回顾:2007-2017[A];第二十届全国心理学学术会议--心理学与国民心理健康摘要集[C];2017年

2 ;社交媒体正在成为科学的挑战?——美国反氟化物危机带来的启示[A];科学媒介中心2015年推送文章合集（上）[C];2016年

3 杨婉悌;;社交媒体时代下档案信息与文化的传播应用[A];创新：档案与文化强国建设——2014年全国档案工作者年会优秀论文集[C];2014年

4 乔诗绮;马静;刘康昱;王明辉;;社交媒体使用行为对员工工作绩效的影响[A];第二十一届全国心理学学术会议摘要集[C];2018年

5 刘宇初;周庆山;;图博档等公共服务机构社交媒体服务融合模式的构建[A];中国图书馆学会年会论文集（2016年卷）[C];2016年

6 施蓓琦;王丽鲲;田冬迪;王冕;;基于社交媒体地理数据挖掘的游客时空行为特征分析[A];卫星导航定位与北斗系统应用2017——深化北斗应用 开创中国导航新局面[C];2017年

7 梁君健;;营销与秩序:社交媒体时代的电影言论规范[A];影博·影响（2016年第07期 2016年合订本下 总第103期）[C];2016年

8 "基于社交媒体的科普轻游戏设计开发"课题组;郝倩倩;;基于社交媒体的科普轻游戏设计开发研究报告[A];科技馆研究报告集（2006-2015）下册[C];2017年

9 刘传江;覃艳丽;李雪;;网络社交媒体使用、社会资本积累与新时代农业转移人口的城市融合——基于六市1409个样本的调查[A];中国经济发展：改革开放40年与新时代——第十二届中华发展经济学年会会议论文摘要集[C];2018年

10 边钰涵;;社交媒体环境下极端气候信息的传播路径分析——以川蜀地区极端暴雨天气为例[A];“何微新闻奖”优秀文选第二辑[C];2018年

相关重要报纸文章 前10条

1 邱成刚;戒除社交媒体“成瘾症”有效减少抑郁情绪[N];中国科学报;2019年

2 蕊睐　编译;一名社交媒体编辑的“生意经”[N];中国青年报;2012年

3 发言人 马战英 央视频融媒体发展有限公司特别代表 整理 樊文;打造主流媒体中首个视频社交媒体[N];国际出版周报;2019年

4 候涛;印海军在基地禁用社交媒体[N];环球时报;2019年

5 本报记者 操秀英;社交媒体炒旧闻：《科学》子刊称中药致癌[N];科技日报;2018年

6 本报记者 杜海川;中期选举前，美社交媒体风声鹤唳[N];环球时报;2018年

7 金惠真;韩社交媒体查出大量自杀自残图片[N];环球时报;2018年

8 记者 刘海英;社交媒体使用越多可能越感孤独[N];科技日报;2019年

9 平顶山学院新闻与传播学院副教授 朱述超;反思灾难影像的社交媒体传播[N];社会科学报;2019年

10 本报见习记者 陈瑜;“蜜月期”过后，社交媒体将何去何从[N];文汇报;2019年

相关博士学位论文 前10条

1 薄涛;基于社交媒体的地震灾情数据挖掘与烈度快速评估应用[D];中国地震局工程力学研究所;2018年

2 熊蜀峰;面向社交媒体的观点分析技术研究[D];武汉大学;2016年

3 刘予飞;社交媒体中用户影响力挖掘[D];南京航空航天大学;2018年

4 漆舒汉;社交媒体中品牌实体信息检索方法研究[D];哈尔滨工业大学;2018年

5 刘培磊;社交媒体热点检测与追踪技术研究[D];国防科学技术大学;2016年

6 王静;基于社交媒体评论的客户需求分析[D];哈尔滨工业大学;2017年

7 朱江;社交媒体的实时分享对消费者就餐体验和品牌评价的影响及内在机制研究[D];中国科学技术大学;2018年

8 张婧;面向中文社交媒体语料的词法分析研究[D];大连理工大学;2018年

9 王亚坤;基于机器学习的社交媒体文本分析方法研究[D];北京邮电大学;2019年

10 丁冠琪;企业社交媒体、知识分享和员工创造力[D];中国科学技术大学;2019年

相关硕士学位论文 前10条

1 蒙雪平;社交媒体对被排斥者社会性痛苦的影响[D];西南大学;2019年

2 郑慧捷;《亚洲的社交媒体》（节选）翻译报告[D];海南大学;2016年

3 Mourcie Lujang Peter Yata;社交媒体对企业沟通管理的影响研究[D];合肥工业大学;2019年

4 吴查科;隐私疲劳视角下社交媒体用户隐私披露意愿研究[D];天津师范大学;2019年

5 康慧举;出版社在社交媒体背景下社群营销影响因素研究[D];北京第二外国语学院;2019年

6 崔春于;乡村旅游地社交媒体营销对自助旅游者决策的影响[D];安徽师范大学;2019年

7 乔慧;以腾讯为例浅谈社交媒体品牌形象的设计与应用[D];长春理工大学;2019年

8 蒋勇;社交媒体短文本在线聚类方法研究[D];电子科技大学;2019年

9 李虹羽;面向多语义对象的社交媒体情感分析[D];桂林电子科技大学;2019年

10 许晓梦;网红的传播动因研究[D];长春工业大学;2019年

本文编号：2750809