融合双目多维感知特征的立体视频显著性检测

发布时间：2018-02-03 21:39

  本文关键词： 立体视频 立体显著性检测 视觉注意力 双目感知特征 深度显著性 运动显著性　出处：《中国图象图形学报》2017年03期 　论文类型：期刊论文

【摘要】：目的立体视频能提供身临其境的逼真感而越来越受到人们的喜爱,而视觉显著性检测可以自动预测、定位和挖掘重要视觉信息,可以帮助机器对海量多媒体信息进行有效筛选。为了提高立体视频中的显著区域检测性能,提出了一种融合双目多维感知特性的立体视频显著性检测模型。方法从立体视频的空域、深度以及时域3个不同维度出发进行显著性计算。首先,基于图像的空间特征利用贝叶斯模型计算2D图像显著图;接着,根据双目感知特征获取立体视频图像的深度显著图;然后,利用Lucas-Kanade光流法计算帧间局部区域的运动特征,获取时域显著图;最后,将3种不同维度的显著图采用一种基于全局-区域差异度大小的融合方法进行相互融合,获得最终的立体视频显著区域分布模型。结果在不同类型的立体视频序列中的实验结果表明,本文模型获得了80%的准确率和72%的召回率,且保持了相对较低的计算复杂度,优于现有的显著性检测模型。结论本文的显著性检测模型能有效地获取立体视频中的显著区域,可应用于立体视频/图像编码、立体视频/图像质量评价等领域。
[Abstract]:Objective Stereo video can provide a realistic sense of reality and is becoming more and more popular, while visual salience detection can automatically predict, locate and mine important visual information. It can help machine to screen mass multimedia information effectively. In order to improve the performance of significant area detection in stereoscopic video, A stereo video salience detection model based on binocular multi-dimensional perception is proposed, in which salience is calculated from three different dimensions: spatial domain, depth and time domain. Spatial feature based on image is used to calculate 2D image salience map by Bayesian model. Then, depth salience map of stereo video image is obtained according to binocular perception feature. Then, motion feature of local region between frames is calculated by Lucas-Kanade optical flow method. Finally, the salience map of three different dimensions is fused by a fusion method based on the magnitude of global-region difference. The experimental results in different types of stereo video sequences show that the proposed model achieves a precision of 80% and a recall rate of 72%, and maintains a relatively low computational complexity. Conclusion the salience detection model in this paper can effectively obtain significant regions in stereo video, and can be used in stereo video / image coding, stereo video / image quality evaluation and other fields.
【作者单位】： 杭州电子科技大学通信工程学院;宁波大学信息科学与工程学院;
【基金】：国家自然科学基金项目(61401132,61471348) 浙江省自然科学基金项目(LY17F020027)~~
【分类号】：TP391.41
【正文快照】： 别与跟踪,以及视觉导航等研究都具有指导意义。0引言如何计算3D视频中的显著性区域或者如何自动识别3D视频中的人眼感兴趣区域,是一项极具三维(3D)视频由于其左右视点图像之间存在挑战性的工作。近几十年来,研究者们对自然场景视差,能带给观众身临其境的体验感和更高的逼真的

【相似文献】

相关期刊论文 前10条

1 王群;李晓光;卓力;;立体视频传输技术研究进展[J];测控技术;2011年05期

2 郑越;杨淑莹;;一种基于三阶亮度校正的平面视频转立体视频快速算法[J];天津理工大学学报;2012年02期

3 晓云;;“无线立体视频”通过鉴定[J];每周电脑报;1997年44期

4 朱晓瑞;卓力;;立体视频误码恢复技术综述[J];测控技术;2012年05期

5 苏志斌;李华;吕朝辉;任慧;;活态文化资源双目立体视频采集系统研究[J];中国传媒大学学报(自然科学版);2012年04期

6 张艳;安平;张秋闻;张兆杨;;双目立体视频最小可辨失真模型及其在质量评价中的应用[J];电子与信息学报;2012年03期

7 鲁业频;李素平;;立体视频技术的发展现状综述[J];电视技术;2012年12期

8 朱仲杰,郁梅,蒋刚毅;用于立体视频会议系统的立体对象分割与跟踪算法[J];计算机辅助设计与图形学学报;2004年03期

9 孙越;蒋刚毅;邵枫;郁梅;彭宗举;李福翠;;基于区域划分的立体视频整帧丢失错误隐藏新算法[J];光电子.激光;2012年06期

10 程曦;白雪蕾;陈文华;;引领立体视频技术跨越式发展——记2012年度国家技术发明一等奖戴琼海教授团队[J];中国高校科技;2013年03期

相关会议论文 前3条

1 陈贤;张刚;赵文吉;左建章;;基于生理视觉原理的立体视频重建技术研究[A];立体图象技术及其应用研讨会论文集[C];2005年

2 王世刚;王学军;陈贺新;;MPEG-4框架的面向立体视频对象压缩编码的研究[A];第十二届中国体视学与图像分析学术会议论文集[C];2008年

3 刘爽;王世刚;陈贺新;吕源治;;基于视差和变化检测的立体视频对象的实时提取[A];第十五届全国图象图形学学术会议论文集[C];2010年

相关重要报纸文章 前3条

1 本报记者 高靓 通讯员 程曦 白雪蕾;占领立体视频技术制高点[N];中国教育报;2013年

2 记者 程曦　实习记者 白雪蕾;引领中国立体视频技术跨越式发展[N];新清华;2013年

3 记者 路平;裸眼也可感受3D效果[N];广东科技报;2013年

相关博士学位论文 前2条

1 张艳;立体视频质量评价关键技术研究[D];上海大学;2013年

2 郭大波;网格基单目和立体视频编码及相关技术研究[D];西安电子科技大学;2009年

相关硕士学位论文 前10条

1 宋洋;基于视觉感知的立体视频客观质量评价研究[D];宁波大学;2015年

2 郑凯辉;基于感知的立体视频质量评价模型研究[D];宁波大学;2015年

3 李文锋;立体视频水印技术及其应用研究[D];宁波大学;2015年

4 王篷金;Kinect数据修复方法研究及其在立体视频中的应用[D];西安电子科技大学;2014年

5 徐宁浩;立体视频中的场景运动分类方法研究[D];浙江大学;2016年

6 姜秀红;立体视频舒适度的研究[D];吉林大学;2016年

7 南立园;基于运动和深度信息的立体视频帧率提升算法研究[D];电子科技大学;2016年

8 马瑞泽;压缩立体视频质量客观评价方法研究[D];天津大学;2014年

9 杨建;基于H.264的立体视频质量主客观评价方法研究[D];天津大学;2014年

10 薛超;立体视频质量主观评价方案的研究[D];天津大学;2014年

，

本文编号：1488415