基于语义空间统一表征的视频多模态内容分析技术

发布时间：2018-08-06 07:57

【摘要】：视频是数据处理中综合性能最高,包含内容最广的载体。视频题目通过文字表达,内容通过连续图像帧表达,另外部分视频还包含背景音乐或者解说旁白。因此,视频处理即是对文字、图像、声音的多模态处理。着眼于多模态处理技术,提出基于语义空间统一表征的视频多模态内容分析框架,利用多种架构的深度神经网络,对视频的文字、图像、音频进行分别处理,为达到统一的功效,将不同结构的深度神经网络归结到语义空间,通过语义空间进行综合认知。提出的架构清晰、层次分明,对于视频理解的建模具有指导意义。
[Abstract]:Video is the carrier with the highest comprehensive performance and the most extensive content in data processing. The title of the video is expressed by text, the content is expressed by successive image frames, and some of the video also contains background music or narration. Therefore, video processing is the multi-modal processing of text, image and sound. Focusing on the multi-modal processing technology, a video multi-modal content analysis framework based on unified representation of semantic space is proposed. The text, image and audio of the video are processed separately by using the depth neural network of various architectures. In order to achieve the unified effect, the depth neural network with different structures is reduced to semantic space, and comprehensive cognition is carried out through semantic space. The proposed framework is clear and hierarchical, which has a guiding significance for the modeling of video understanding.
【作者单位】： 中国电子科技集团公司信息科学研究院;
【分类号】：TP391.1;TP391.41

【相似文献】

相关期刊论文 前10条

1 张全;陆长德;余隋怀;于明玖;;基于多维情感语义空间的色彩表征方法[J];计算机辅助设计与图形学学报;2006年02期

2 陈登凯;王可;陆长德;;基于三维语义空间的色彩设计方法研究[J];计算机工程与应用;2008年07期

3 闫俊;刘文飞;林鸿飞;;基于标签混合语义空间的音乐推荐方法研究[J];中文信息学报;2014年04期

4 杨易;郭同强;庄越挺;王文华;;基于综合推理的多媒体语义挖掘和跨媒体检索[J];计算机辅助设计与图形学学报;2009年09期

5 周海鸿;;国内“多模态”符号研究文献综述[J];科教文汇(上旬刊);2014年01期

6 王学东;胡宋敏;谢辉;丁帅;曹高辉;;多模态网络主题资源聚合与实证研究[J];情报科学;2014年07期

7 胡壮麟;;谈多模态小品中的主体模态[J];符号与传媒;2011年01期

8 张薇;徐筱秋;;基于云教育平台的多模态输入优化模型建构[J];校园英语(教研版);2012年05期

9 王瑜;穆志纯;徐正光;;多模态生物特征识别技术进展综述[J];计算机应用与软件;2009年02期

10 胡阿旭;陈贵萍;于洪志;;多模态语音实验室在语言研究中的应用[J];西北民族大学学报(自然科学版);2012年01期

相关会议论文 前1条

1 张霄军;;多模态语料库:抢救濒危语言的有效途径[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年

相关博士学位论文 前7条

1 聂为之;多模态媒体数据分析关键技术研究[D];天津大学;2014年

2 刘鹏;慢性伤口光学仿体的多尺度多模态医学影像技术研究[D];中国科学技术大学;2016年

3 苗迪;基于特征层与分数层的多模态生物特征融合[D];中国科学技术大学;2017年

4 逯波;多模态媒体信息检索技术研究[D];东北大学;2013年

5 谭帅;多模态过程统计建模及在线监测方法研究[D];东北大学;2012年

6 王洋;多模态图像检索技术[D];中国科学技术大学;2013年

7 张志坚;多模态生物特征识别融合算法的研究[D];中国科学技术大学;2008年

相关硕士学位论文 前10条

1 张妍;基于语义空间的计算机辅助色彩设计研究[D];西北工业大学;2003年

2 丁亚飞;语义物联网中基于语义空间的语义协同方法研究[D];大连海事大学;2014年

3 谢晓慧;多模态语篇的意义构建[D];闽南师范大学;2015年

4 张立波;基于多模态的粒子滤波多目标跟踪研究[D];电子科技大学;2015年

5 张玉;基于数据驱动的多模态异常检测方法[D];河南大学;2015年

6 李慧卓;基于集成学习的多模态AD辅助诊断模型研究[D];太原理工大学;2016年

7 靳玉康;基于多模态共振和共生的多模态数据分析及应用[D];南京大学;2013年

8 薛昊;基于多模态融合的音乐情感分类方法研究[D];南京大学;2016年

9 陈敏;多模态语义知识库构造方法研究[D];华中科技大学;2014年

10 卢思羽;基于多模态人机交互的虚拟乐器演奏系统研发[D];华中师范大学;2016年

，

本文编号：2167031