注意力模型及其在视频描述生成中的应用

发布时间：2020-06-04 04:40

【摘要】：建立视觉内容和自然语言之间的语义联系,是多媒体分析和计算机视觉领域的重要难题之一。近年来,深度学习的发展为该问题的突破提供了强大的技术支持。视频作为连续的视觉表达,包含复杂丰富的信息,其时序和空间结构是视频内容理解的核心。目前基于深度学习的视频描述方法,设计了不同的深度网络来建模视频帧以及其帧序列上的时序和空间关系。不同于前面的方法,本文重点研究了注意力模型在视频描述任务上的应用,并介绍了两种视频描述方法,希望在生成视频描述的时候自动地关注到一些重要的视频区域或视频片段。本文介绍的第一种视频描述方法考虑了视频帧序列上的显著性片段。该方法在语言模型上引入注意力模型,对每个时刻的预测单词适应性地选择生成该单词所需要关注的视频帧子集。本文在常用的视频描述评测集MSVD上对该方法进行了评测,证明了时序注意力在视频描述问题上的有效性。在第二种方法中,本文考虑了单个视频帧上的感兴趣区域以及这些区域特征序列间的时序依赖关系。为了实现该目标,本文用全局特征作为单帧视频的指导信息,使用注意力模型来选择视频帧上的感兴趣区域。此外,本文设计了多重记忆的循环模型来分别融合全局和感兴趣区域特征的时序依赖关系,构造更具辨别能力的视频表达。同样地,本文在MSVD和M-VAD数据集上对该方法进行了评测,证明了该方法的有效性。
【学位授予单位】：天津大学
【学位级别】：硕士
【学位授予年份】：2018
【分类号】：TP391.41

【相似文献】

相关期刊论文 前10条

1 问春;;2018视觉内容提供商排行[J];互联网周刊;2019年06期

2 谢雅妮;王春雷;;活动组织者如何利用视觉内容吸引观众?[J];中国会展;2018年19期

3 刘晓冬;;浅谈如何规避报刊视觉内容小报化[J];新闻论坛;2016年03期

4 郁有凯;;论学生正确选择视觉内容的德育引导[J];中国教育学刊;2019年03期

5 张天如;;简洁之美:平面设计中图形的应用[J];绥化学院学报;2008年02期

6 ;你也可以成为网红[J];中国科技信息;2016年08期

7 ;ARM推出高效系统层级多媒体解决方案[J];单片机与嵌入式系统应用;2014年12期

8 胥京宇;;ARM推出高效、丰富的多媒体解决方案[J];世界电子元器件;2014年12期

9 左悦;;基于视觉内容分析和遗传算法优化的鲁棒图像水印算法[J];包装工程;2019年01期

10 ;我要我的……[J];成功营销;2008年06期

相关会议论文 前1条

1 向迎春;;音乐教学切勿买椟还珠——论趣味性教学的四大误区[A];全国高等音乐教育课程发展与教学研究学术研讨会论文集（上册）[C];2006年

相关重要报纸文章 前10条

1 临安市中等职业技术学校 谢巧红;生态美术教学初探[N];美术报;2006年

2 柴继军 视觉中国集团执行董事 总编辑;从数据看市场[N];中国摄影报;2015年

3 ;Adobe，架设沟通的桥梁[N];计算机世界;2001年

4 苏隆坡;MPEG六兄弟[N];信息时报;2000年

5 本报记者 钟天骐;柴继军：不做个二三十年 那不叫文化企业[N];中国青年报;2015年

6 记者 张帆;195亿元打造70个重点文化项目[N];天津日报;2016年

7 吕文;澳门愿与12301平台加强合作[N];中国旅游报;2016年

8 实习记者 侯伟;“视觉中国”：依托版权打造内容生态圈[N];中国知识产权报;2016年

9 记者 王蔚　刘雪;观众眼中“最世博”[N];新华每日电讯;2010年

10 记者 张焱;站酷获1500万美元B+轮融资[N];中国经济时报;2018年

相关博士学位论文 前3条

1 欧新宇;基于深度学习和上下文语义的视觉内容识R%与分析研究[D];华中科技大学;2017年

2 赵英海;基于内容的多媒体视觉信息搜索研究[D];中国科学技术大学;2010年

3 罗青山;面向视频挖掘的视觉内容分析[D];上海交通大学;2009年

相关硕士学位论文 前10条

1 杨子伟;注意力模型及其在视频描述生成中的应用[D];天津大学;2018年

2 王波;基于视觉内容的实例搜索[D];电子科技大学;2018年

3 李林科;基于深度学习的视觉内容描述技术研究[D];电子科技大学;2018年

4 顾昕;基于文本语义和视觉内容的图像检索技术研究[D];厦门大学;2014年

5 党妮;基于视觉内容的图像检索技术研究[D];西安电子科技大学;2013年

6 谢琳;融合文本语义和视觉内容的Web人像图片检索[D];北京交通大学;2008年

7 陆杨;基于多级检索的单模态医学影像检索系统研究[D];第四军医大学;2009年

8 Edwin Fernando Pestana Tirado;自适应关键帧提取算法研究[D];重庆大学;2012年

9 白春红;基于领域本体的语义图像检索研究[D];重庆大学;2012年

10 段元成;基于语义图像注释系统的设计与实现[D];电子科技大学;2011年

，

本文编号：2695906