社交多媒体数据语义理解和关联表达

发布时间：2018-01-14 22:13

  本文关键词：社交多媒体数据语义理解和关联表达　出处：《中国科学技术大学》2017年博士论文　论文类型：学位论文

  更多相关文章： 弱监督深度学习 特征选取 模型简化 照片集故事化表达 视频自动剪辑

【摘要】：近年来,智能手机及其它移动智能设备呈现出了爆发式的增长与普及。高清摄像头、大容量存储和高速的网络连接为用户创造了极其便利的拍摄和分享条件,用户几乎可以在任意时间、任意地点拍摄照片或视频,并将它们分享到社交网络上,产生了海量的社交多媒体数据。然而,这些数据都以碎片化的形式存在,当前的社交多媒体系统缺乏智能的工具或服务将它们组织起来,并选取符合用户个性化需求的数据呈现给用户,用户也很难快速准确地检索到他们需要的数据。因此,如何充分挖掘和利用社交多媒体数据成为了当前重要的研究问题。本论文针对社交多媒体数据的语义理解和关联表达做了深入研究,目标是实现一个能够理解社交多媒体数据、根据用户需求选取有关联的数据并以丰富的表达形式呈现给用户的关联表达系统。由于社交多媒体数据的语义内容丰富多样,收集并标注每个语义的训练数据的难度和成本很高,因此语义理解首先需要解决标注难的问题。其次,由于社交多媒体数据的规模庞大,语义理解需要解决处理慢的问题。社交多媒体数据的关联表达是基于社交多媒体数据的语义理解,根据用户个性化的需求选取有关联的数据,并以丰富的表达形式呈现给用户。本论文分别从照片和视频两个角度研究了关联表达的具体应用。语义理解和关联表达构成了挖掘和利用社交多媒体数据相对完整的框架。针对上述问题,本论文的主要研究工作和创新成果包括:1.对于语义理解标注难的问题,提出了一种直接从社交多媒体数据学习目标识别模型的弱监督相关反馈深度学习算法。传统深度学习算法对于训练数据中的标注噪音十分敏感,本论文基于感知连续性,利用数据在特征空间的相互关系,使得不同数据在训练过程中有不同的贡献加权,从而抑制标注噪音的影响。实验结果表明,与已有算法相比,本论文提出的弱监督相关反馈深度学习算法具有更好的噪声鲁棒性。2.对于语义理解处理慢的问题,论文首先从减少数据特征种类和数目的角度提出了一种从大规模高维数据中选取特征的高效算法。本论文基于二阶在线学习算法,利用特征的置信度选取特征,并提出了基于堆结构的快速在线特征选取算法。由于置信度的单调递增特性,本论文进一步将算法的复杂度降低为与非零特征数目成正比。实验结果表明,该算法能够极大减少特征选取的计算时间,并达到接近甚至超过当前最好特征选取算法的准确率。其次,论文从加快提取深度特征速度的角度提出了基于在线特征选取的深度卷积神经网络模型简化算法。算法增加了对应卷积层输出特征图每个通道的权重层,通过在权重层上进行特征选取,将三维卷积核的组稀疏优化问题转化为一维特征选取问题。实验结果表明,该模型简化算法在几乎不影响模型准确率的情况下极大减少了模型的参数个数。3.对于照片关联表达问题,设计并实现了一个基于主题的照片集故事化表达系统Monet。系统首先检测照片集中的事件并选取一部分代表性的照片子集,完成对照片集的分析与梳理。其次,系统根据对照片的语义理解结果赋予不同照片不同的主题,并针对每个主题的照片运用可计算的风格模板生成具有关联表达能力和丰富表达效果的音乐视频。实验结果表明,Monet系统提供了更好的照片集分析与梳理和故事合成效果。4.对于视频关联表达问题,设计并实现了一个全自动移动多摄像头视频自动剪辑系统MoVieUp。论文从音频剪辑和视频剪辑两个角度解决自动剪辑问题。音频剪辑评估所有音频流的质量,在最少切换次数准则下选取高质量的音频流片段,并拼接成单一音频流。视频剪辑首先根据音频的节奏和语义选取镜头切换点,其次在保证镜头运动一致性的条件下最大化镜头质量和镜头多样性,完成镜头选取和拼接,得到单一视频流。实验结果表明,MoVieUp系统达到了当前最好的移动多摄像头视频自动剪辑效果,提供了更好的用户体验。
[Abstract]:......
【学位授予单位】：中国科学技术大学
【学位级别】：博士
【学位授予年份】：2017
【分类号】：TP391.41

【相似文献】

中国期刊全文数据库 前10条

1 王海涛;多媒体数据的网络传输概述[J];当代通信;2004年08期

2 邓伟;媒体数据的处理与管理[J];电视字幕(特技与动画);2002年04期

3 邓伟;媒体数据的处理与管理[J];现代电视技术;2002年05期

4 孙清伟;邵国金;;信息技术中多媒体数据的类型及作用[J];贵阳学院学报(自然科学版);2006年01期

5 徐翔;;浅析电视行业媒体数据中心建设[J];现代电视技术;2012年07期

6 李晓明,李伟;多媒体数据会议应用[J];通信技术;1997年02期

7 李正浩;曾智洪;曾晓赢;史振宁;付仕清;;农村信息化建设中多媒体数据的并行管理框架设计[J];重庆大学学报;2013年12期

8 林志斌 ,罗伟濂;多媒体数据资源的采集和处理[J];电脑;1996年06期

9 孙寅;;媒体数据表述中的矛盾与重复[J];新闻导刊;2004年02期

10 董淑珍,巩志国;多媒体数据基于内容的查询[J];计算机工程;1999年01期

中国重要会议论文全文数据库 前1条

1 杨晓蓉;王文生;;基于内容的农业科技多媒体数据的存储与检索技术研究[A];中国农业信息科技创新与学科发展大会论文汇编[C];2007年

中国重要报纸全文数据库 前3条

1 ;新媒体数据是最重要的核心资产[N];企业家日报;2013年

2 童木;海量多媒体数据的有效备份[N];中国计算机报;2003年

3 四川 邹肇辉;利用Delphi处理SQL Serve中的多媒体数据[N];电脑报;2004年

中国博士学位论文全文数据库 前4条

1 魏云超;跨媒体数据的语义分类和检索[D];北京交通大学;2016年

2 吴岳;社交多媒体数据语义理解和关联表达[D];中国科学技术大学;2017年

3 余林琛;对等流媒体系统中媒体数据管理机制的研究[D];华中科技大学;2012年

4 刘衡;海量多媒体数据的地理信息标注技术及其应用[D];中国科学技术大学;2014年

中国硕士学位论文全文数据库 前10条

1 王菁;电视媒体数据新闻研究[D];天津师范大学;2016年

2 赵月;我国网络媒体数据新闻研究[D];渤海大学;2016年

3 孟宇;批判视角下网络媒体数据新闻研究[D];南京师范大学;2016年

4 杜晓军;基于互联网对其传输多媒体数据性能的研究[D];山东大学;2007年

5 张晔华;可视的多媒体数据语义标注[D];天津大学;2014年

6 罗文静;基于ARM11的井下多媒体数据处理终端[D];西安科技大学;2010年

7 许坤;多媒体数据在IP分组网络上的传输技术研究[D];河海大学;2001年

8 杨瑞亚;基于RTP的MPEG-4封装技术研究与设计[D];暨南大学;2006年

9 邓鸽;国内网络媒体数据新闻操作流程与技术应用研究[D];暨南大学;2015年

10 谭罗生;基于MPEG-7的视频内容描述及在检索应用中的研究[D];江西师范大学;2004年

，

本文编号：1425523