基于迁移学习的视频标注方法

发布时间：2019-01-22 17:46

【摘要】：视频内容标注是信息检索和模式识别领域的热点问题，在智能视频监控视频理解等传统领域有着广泛的应用随着互联网多媒体技术的发展以及用户手持设备的不断进步，视频内容标注已经逐渐成为未来信息检索最关键的组成部分之一 目前基于内容的视频标注主要通过人工标注大量视频构建训练样本，根据这些样本建立相关模型来预测未知的视频内容人工标注视频是一项费时费力的工作，而且传统的训练学习方法通常假设训练样本与测试样本来源于同样的数据域（domain）另外，传统的训练学习方法只在拥有大量已标注训练数据的前提下，对测试数据进行比较鲁棒的分类或标注在仅有少量标注数据的情况下，传统的学习方法很难训练出具有较强鲁棒性较好泛化能力的分类器所幸的是，迁移学习（transfer learning）可以解决只有少量甚至没有标注数据的分类器学习问题它通过利用其它不同相关数据域中已有的知识和数据来学习适用于感兴趣数据域的分类器 本文将重点讨论如何借助于海量的互联网多媒体数据（源域，source domain），来对视频（目标域，target domain）中的事件进行有效的标注首先，借助互联网图像搜索引擎日渐成熟，本文在互联网检索得到得图像集上构建图像与视频空间的知识迁移框架为了避免单一关键字检索知识的片面性，本文使用多个联想词从互联网中检索多组图像其次，基于多图像组知识迁移，本文使用与视频事件间接相关的带有语义信息的关键词进行检索，以获得多语义分组的多源域图像集，从而消除底层图像特征与高层事件概念之间的语义鸿沟最后，本文针对海量视频的标注问题，提出自动增量式学习的方法以不断更新视频标注模型，使其能够适应日益更新的用户视频本文的主要贡献总结如下： 通过在图像与视频的异构特征空间之间建立共同特征子空间，提出利用关键字检索互联网图像的结构化知识迁移模型，实现视频自动标注，从而减少人工标注的代价构建判别式结构化模型，即跨领域结构化模型（Cross-DomainStructural Model），来联合获取图像域特征与视频域特征之间的相关性，，以及不同图像属性之间的关系此模型将互联网图像中的图像特征和用户视频序列中的视频特征结合起来以获得两者之间的相关性同时，在此模型中，通过使用典型相关性分析构建共同特征空间，使得源域与目标域中的数据在统一的框架中联合学习 为了避免单一关键字检索获得知识过于片面，本文在基于单关键字检索的跨域知识迁移中引入了基于联想词的多组互联网图像提出分组权重联合学习算法（Joint Group Weighting Learning），有效地将不同但相关的图像组分类器迁移到用户视频在此框架下，为了获得更具判别性的共同特征，本文提出了判别性拓扑保持典型相关性分析（Discriminative Topology PreservingCanonical Correlation Analysis）以习得一个新的共同特征空间 为了进一步适应用户视频事件在语义上的多样性，本文提出了基于多语义分组互联网图像知识迁移的视频标注（Multi-Group based Domain Adaptation）使用关键字检索，获取在概念层和事件层的带语义信息的源域图像组不同于传统的多领域适应算法，本文通过衡量源域与目标域之间的语义相关性，给不同源域数据分配不同的权重为了考虑组权重与组分类器之间的相互影响，该方法在习得组权重的同时优化组分类器由于目标域的未标注视频中含有大量的有用信息，引入两个新的数据依赖正则项来发掘目标域中未标注的用户视频以优化目标分类器 为了能够从根本上解决互联网视频大数据的标注问题，本文使用增量式的方法不断的更新所得到的标注模型，提出了使用异构源域增量式迁移学习的计算框架此框架将组权重建模为隐变量，通过构建结构化隐变量模型以获取源域组与目标域样本之间的相关性，并在增量式迁移学习的过程中引入两个约束，在适当保留旧知识的同时学习新知识
[Abstract]:......
【学位授予单位】：北京理工大学
【学位级别】：博士
【学位授予年份】：2014
【分类号】：TP391.41

【共引文献】

相关期刊论文 前10条

1 韩强;;基于广义Hough变换的手写文档整词定位[J];安徽电子信息职业技术学院学报;2011年05期

2 程刚;郑小华;阳锋;徐祖舰;;三维全景视觉技术在农业机器人中的应用[J];安徽农业科学;2010年34期

3 何海燕;施培蓓;;基于改进AdaBoost算法的行人检测方法[J];安庆师范学院学报(自然科学版);2009年03期

4 吴慧兰;刘国栋;刘炳国;胡涛;浦昭邦;;ICF实验靶定位技术研究[J];半导体光电;2008年05期

5 陈京;袁保宗;刘渭滨;;多视点标定图像的交替迭代度量重建方法[J];北京交通大学学报;2012年02期

6 周峰;刘辉;李超峰;;SIFT算法在图像配准中的应用[J];办公自动化;2009年22期

7 刘彬;叶丽娜;;一种基于SIFT特征的序列图像拼接算法[J];兵工自动化;2009年06期

8 刘焕敏;王华;段慧芬;;一种改进的SIFT双向匹配算法[J];兵工自动化;2009年06期

9 彭勃;周文晖;刘济林;;基于Harris角点检测的立体视觉里程计[J];兵工学报;2007年12期

10 陈冰;赵亦工;李欣;;基于高斯尺度空间的末制导目标跟踪方法[J];兵工学报;2009年05期

相关会议论文 前10条

1 刘善磊;张亮;;基于相位相关和SURF算法的关键帧实时匹配研究[A];江苏省测绘学会2011年学术年会论文集[C];2011年

2 隋树林;孙立宏;姚文龙;袁健;;融合改进UKF/SIFT信息的自主光学导航方法[A];第二十六届中国控制会议论文集[C];2007年

3 汪力;叶桦;夏良正;;利用特征点定位嘴巴[A];第二十六届中国控制会议论文集[C];2007年

4 ;Loop-closing By Using SIFT Features for Mobile Robots[A];第二十六届中国控制会议论文集[C];2007年

5 周凯;范瑞霞;李位星;;一种基于SIFT的MeanShift-粒子滤波融合跟踪算法[A];第二十九届中国控制会议论文集[C];2010年

6 ;Rapid Target Recognition and Tracking under Large Scale Variation Using Semi-Naive Bayesian[A];第二十九届中国控制会议论文集[C];2010年

7 ;A High-level Image Sequence Fusion Algorithm for Human Detection[A];第二十九届中国控制会议论文集[C];2010年

8 邹丽晖;陈杰;张娟;窦丽华;;一种基于时空域流形的视频序列图像拼接算法[A];第二十九届中国控制会议论文集[C];2010年

9 ;Machine Vision Based Flotation Froth Mobility Analysis[A];第二十九届中国控制会议论文集[C];2010年

10 孙明竹;赵新;程小燕;孙程;卢桂章;;面向复杂作业的微操作机器人关键技术研究[A];第二十九届中国控制会议论文集[C];2010年

相关博士学位论文 前10条

1 王玉全;基于全景视觉的移动机器人同时定位与地图创建方法研究[D];哈尔滨工程大学;2010年

2 梁洪;基于内容的医学图像检索及语义建模关键技术研究[D];哈尔滨工程大学;2010年

3 任桢;图像分类任务的关键技术研究[D];哈尔滨工程大学;2010年

4 孔凡芝;引线键合视觉检测关键技术研究[D];哈尔滨工程大学;2009年

5 王作为;具有认知能力的智能机器人行为学习方法研究[D];哈尔滨工程大学;2010年

6 肖洁;视觉注意模型及其在目标感知中的应用研究[D];华中科技大学;2010年

7 朱清波;序列图像三维重建方法研究[D];华中科技大学;2010年

8 田文;多视图图像的快速三维场景重建[D];华中科技大学;2010年

9 涂虬;智能视觉监视中目标检测与跟踪算法研究[D];华中科技大学;2010年

10 章鹏;多尺度特征检测：方法和应用研究[D];中国科学技术大学;2010年

相关硕士学位论文 前10条

1 宋抗;压缩机活塞圆度误差数字检测系统研究[D];河南理工大学;2010年

2 陈忠翔;基于立体视觉的三维重建方法研究[D];南昌航空大学;2010年

3 雒燕飞;地质灾害应急地理信息数据库设计及其应用[D];山东科技大学;2010年

4 唐红梅;基于辐射与空间信息的遥感图像检索[D];山东科技大学;2010年

5 倪希亮;基于尺度不变特征的多源遥感影像配准[D];山东科技大学;2010年

6 贾伟洁;SAR影像与光学影像配准研究[D];山东科技大学;2010年

7 任天宇;自稳定航拍系统算法与设计[D];长春理工大学;2010年

8 李跃;三维运动估计在织物动态仿真中的应用[D];浙江理工大学;2010年

9 娄铮铮;sIB算法在图像无监督分类中的应用研究[D];郑州大学;2010年

10 王博;全景视觉智能移动机器人固有环境定位[D];哈尔滨工程大学;2010年

本文编号：2413422